エントリーフォーム - COYOTE 3DCG STUDIO | C&R Creative Studios

MeshBlend - スクリーンスペースのメッシュブレンド技術でメッシュの交差...

Tore Lervik氏によるスクリーンスペースでメッシュブレンドが可能なUnreal Engine 5向けプラグイン「MeshBlend」のご紹介!

続きを読む

Mesh Seam Blending - ポストプロセスを使用したスクリーンスペ...

グラフィックプログラマーのJack Tollenaar氏(Twenmod)が、ポストプロセスを使用したスクリーンスペースのメッシュブレンド技術のUnity向け実装アセット「Mesh Seam Blending」と実装技術解説記事を無料公開しています!

続きを読む

【PR】Create Two Anime-Stylized Scenes in ...

環境・プロップ・アーティストのAniket Rawat氏によるBlenderを使用しアニメ風の部屋シーンを制作する解説チュートリアルコース『Create Two Anime-Stylized Scenes in Blender』がCG&デジタルアート関連チュートリアルサービス-Wingfoxにて取り扱い開始!

続きを読む

Runtime Deformation for Static Meshes Pl...

yanidem2氏によるによる、静的メッシュをリアルタイムに変形できるUnreal Engine用プラグイン「General版」「Foliage版」「Car版」の3種類をご紹介。

続きを読む

Advanced Cars And Bikes System - 多彩な車両やA...

DevlogerioによるUnreal Engine 5向けの車両制御プラグイン「Advanced Cars And Bikes System」がFab上でリリースされました!

続きを読む

従量課金制の Flex で柔軟に制作 | メディア&エンターテイメント | Autodesk

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction - 動画生成AIを活用し映像からシーン形状を再構築する技術!

この記事は約1分39秒で読めます

オックスフォード大学 視覚幾何学グループのZeren Jiang氏らによる、動画生成AIを活用し映像からシーン形状を再構築する技術アプローチ「Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction」が公開されています!


プロモーション

Blender Fes 2025 AW - Blenderの世界へ、一緒に飛び込もう!


Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

動的シーンの単眼3D再構成のためにビデオ拡散モデルを再利用する手法であるGeo4Dを紹介する。 Geo4Dは、このようなビデオモデルによって捕捉される強力な動的事前分布を利用することで、ゼロショットで実データにうまく汎化しながら、合成データのみを用いて学習することができる。 Geo4Dは、複数の補完的な幾何学的モダリティ、すなわち点、深度、光線マップを予測する。 新しいマルチモーダルアライメントアルゴリズムを用いて、推論時にこれらのモダリティや複数のスライディングウィンドウを整列・融合させることで、長尺映像のロバストで正確な4D再構成を実現する。 複数のベンチマークにわたる広範な実験により、Geo4Dは、動的なシーンを扱うように設計されたMonST3Rのような最近の手法も含め、最先端のビデオ奥行き推定手法を大幅に上回ることが示されている。

  • Geo4D:動画生成モデルを活用した動的シーンの再構築フレームワークを提案
    市販の動画生成AI(例:ビデオディフュージョンモデル)を活用して、動きのあるシーンの形状を再構成する革新的な手法
  • 一貫した形状を学習させるための「マルチモーダル幾何表現」を導入
    ポイントマップ、深度マップ、レイマップなど、複数の形状データを組み合わせて、訓練中の安定したジオメトリ学習を実現
  • テスト時には軽量なマルチモーダル整合処理で形状を統合
    類似情報を含む複数の幾何表現を融合し、ブレのない4D再構築を実現
  • 動画からの深度推定で最先端(SOTA)性能を達成
    加えて、カメラの動き(ポーズ推定)についても従来手法と同等の精度を示す

こういう技術がどんどん進んでいくと、実写映像から動きも含めたリアルな3Dシーンを自動生成する未来が出てくるんですかね。深度情報もかなり安定した結果が得られているみたいですね。今後の展開が楽しみです。プロジェクトページやコードも公開されておりますので、気になる方は是非チェックしてみてください!

リンク

Screenshot of geo4d.github.io
Screenshot of github.com


プロモーション


関連記事

  1. Meshtron - High-Fidelity Artist-Like 3D Mesh Generation at Scale - NVIDIAが実用的なトポロジーでポリゴンをリメッシュ可能なAIモデルを発表!

    2024-12-20

  2. Genesis: A Generative and Universal Physics Engine for Robotics and Beyond - 汎用的なロボット工学&身体化AI&物理AIアプリケーションの為に設計された物理エンジン&シミュレーションプラットフォーム!オープンソース!

    2024-12-19

  3. Space-Time Neural Irradiance Fields for Free-Viewpoint Video - 単一視点の動画から破綻を抑えて3D空間を取り込むための技術

    2020-11-26

  4. Neuralangelo: High-Fidelity Neural Surface Reconstruction - 2D映像を複雑なディテールを持つ3D構造物に変える新しいAIモデル!NVIDIA Researchによる技術!CVPR2023技術論文!

    2023-06-07

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

3DCG募集要項 | 株式会社Colorful Palette

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る