４枚の画像からGaussian Splatting技術を活用し高品質な3Dオブジェクトを生成するための技術『GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting』が公開されています。
GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting
非常に疎なビューから3Dオブジェクトを再構成し、レンダリングすることは、3Dビジョン技術の応用を促進し、ユーザー体験を向上させるために非常に重要である。 しかし、スパースビューからの画像は非常に限られた3D情報しか含んでいないため、2つの重要な課題がある：
1) マッチングのための画像が少なすぎるため、マルチビューの一貫性を構築するのが難しい；
2)ビューカバレッジが不十分なため、オブジェクト情報が部分的に省略されたり、非常に圧縮されたりする。
これらの課題に対処するため、我々は、ガウシアンスプラッティングを用いて3Dオブジェクトを表現し、レンダリングするフレームワークであるGaussianObjectを提案する。このフレームワークは、わずか4枚の入力画像で高いレンダリング品質を達成する。我々はまず、ビジュアルハルとフローター除去の技術を導入し、初期最適化プロセスに構造プリオールを明示的に注入することで、マルチビューの一貫性の構築を支援し、粗い3Dガウス表現を得る。次に、省略された物体情報を補完するために、拡散モデルに基づくガウシアン修復モデルを構築し、そこでガウシアンをさらに精緻化する。修復モデルを訓練するための画像ペアを得るための自己生成戦略を設計する。我々のGaussianObjectは、MipNeRF360、OmniObject3D、OpenIlluminationを含むいくつかの困難なデータセットで評価され、わずか4つのビューから強力な再構成結果を達成し、以前の最先端手法を大幅に上回る。
GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting
なんで４枚の画像でここまで出来るの・・ホント謎にすごい技術・・
詳細に関してはプロジェクトページやGithubリポジトリをご確認ください。
リンク
コメント