NVIDIAと、チューリッヒ工科大学、コーネル大学、トロント大学、ベクター研究所の研究者らによる複数枚の写真から空間を補完しつつ高品質な3Dシーンを構築するSIGGRAPH 2026技術！ 「ArtiFixer: Enhancing and Extending 3D Reconstructionwith Auto-Regressive Diffusion Models」が公開されています！
ArtiFixer: Enhancing and Extending 3D Reconstruction
with Auto-Regressive Diffusion Models
3Dガウス・スプラッティングなどのシーン単位の最適化手法は、最先端の斬新なビュー合成品質を実現する一方で、観測データが不十分な領域への外挿性能は低い。生成事前分布を活用してこれらの領域のアーティファクトを補正する手法は有望だが、現時点では2つの課題を抱えている。第一にスケーラビリティの問題である。既存の手法は画像拡散モデルや双方向動画モデルを使用しているが、これらは1回のパスで生成できるビューの数に制限があり（そのため、一貫性を確保するためにコストのかかる反復的な蒸留プロセスを必要とする）。第二に品質そのものの問題である。先行研究で使用されている生成器は、既存のシーンの内容と整合性のない出力を生成しがちであり、完全に観測されていない領域では全く機能しない。
これらの課題を解決するため、我々は2つの重要な知見を活用した2段階のパイプラインを提案する。まず、既存の観測データとの整合性を高めつつ、未見の領域において新規なコンテンツを補外するモデルの能力を維持する、斬新な不透明度混合戦略を用いた強力な双方向生成モデルを学習させる。次に、これを単一のパスで数百フレームを生成できる因果的自己回帰モデルへと蒸留する。このモデルは、新規の視点を直接生成できるほか、疑似監督として機能し、基盤となる3D表現をシンプルかつ極めて効率的な方法で改善することも可能です。我々は本手法を徹底的に評価し、既存の手法が完全に失敗するシナリオにおいても、妥当な再構成を生成できることを実証しました。一般的なベンチマークデータセットで評価した結果、我々の手法は既存のすべてのベースラインを大幅に上回り、従来の最先端手法をPSNRで1～3 dB上回りました。
これ良いなぁ。もうこうやって見えない部分は補完されるのが標準化していきそうですね。
詳細はプロジェクトページ＆Githubページをチェックしてみてください！
リンク
3D scene reconstruction works great until the camera never sees part of the scene.
— NVIDIA AI (@NVIDIAAI) June 22, 2026
ArtiFixer from NVIDIA Research is an open autoregressive model that fills in the missing geometry that other methods leave blank.#SIGGRAPH2026 paper, code + demo: https://t.co/D9PX2OzbZf pic.twitter.com/AGQicvVKkW
コメント