NVIDIA Researchによる2D映像を複雑なディテールを持つ3D構造物に変える新しいAIモデル「Neuralangelo: High-Fidelity Neural Surface Reconstruction」が発表され話題を集めています。
Neuralangelo: High-Fidelity Neural Surface Reconstruction
エヌビディア・リサーチが開発したニューラルネットワークを用いた3D再構成のための新しいAIモデル「Neuralangelo」は、2Dのビデオクリップを詳細な3D構造に変換し、建物、彫刻、その他の現実世界のオブジェクトのリアルなバーチャルレプリカを生成します。
ミケランジェロが大理石の塊から驚くほどリアルなビジョンを彫るように、Neuralangeloは複雑なディテールやテクスチャを持つ3D構造を生成します。
屋根板、ガラス板、滑らかな大理石など、複雑な素材の質感を2D動画から3D資産に変換する能力は、従来の方法を大きく上回るものです。この高い忠実度により、開発者やクリエイターがスマートフォンで撮影した映像を使って、プロジェクトで使用可能な仮想オブジェクトを迅速に作成することが容易になります。
Neuralangeloは、6月18日から22日までバンクーバーで開催されるCVPR（Computer Vision and Pattern Recognition）で発表される、エヌビディア・リサーチによる30近いプロジェクトのうちの1つです。論文は、ポーズ推定、3D再構成、映像生成などのトピックに及んでいます。
ニューラルサーフェス再構成は、画像ベースのニューラルレンダリングによって緻密な3Dサーフェスを回復するのに強力であることが示されている。しかし、現在の手法では、実世界のシーンの詳細な構造を復元するのに苦労している。この問題を解決するために、我々は、多解像度3Dハッシュグリッドの表現力とニューラルサーフェイスレンダリングを組み合わせたNeuralangeloを発表する。本アプローチは、2つの重要な要素によって実現されています： (1) 数値勾配による高次導関数の平滑化、(2) ハッシュグリッドの粗から細への最適化により、異なるレベルのディテールを制御する。Neuralangeloは、補助的な深度がなくても、マルチビュー画像から高密度な3次元表面構造を、従来の方法を大幅に上回る忠実度で効果的に復元することができ、RGBビデオキャプチャから詳細な大規模シーン再構成を可能にします。
もうネット上では結構話題になったのでご存じの方も多いですよね。
エンタメ用途で言うと、3Dスキャナーは不要になってくる気がします。コードの公開が楽しみですね！
リンク
✨Introducing Neuralangelo✨ A new #AI model to turn 2D video from any device — cell phone to drone capture — into 3D structures with intricate details.
— NVIDIA AI Developer (@NVIDIAAIDev) June 1, 2023
New from #NVIDIAResearch #CVPR2023
Read more: https://t.co/e75oke56tz pic.twitter.com/E8NXoZj95F
コメント