エントリーフォーム - COYOTE 3DCG STUDIO | C&R Creative Studios

CGWORLD JAM ONLINE 2025 - CG特化スキルアップ&求人フ...

CGWORLDはCG特化型スキルアップ&求人の為の無料フェスイベント『CGWORLD JAM ONLINE 2025』を2025年7月19日にオンライン開催します。

続きを読む

Kawaii Physics v.1.19 - おかず氏による人気の無料物理骨揺...

元Epic Games Japanのおかず氏(岡田 和也氏 @pafuhana1213)による人気の物理骨揺れUEプラグイン「Kawaii Physics」の最新Unreal Engine 5.6対応版「Kawaii Physics v.1.19」がGithubとFab上でリリースされました!

続きを読む

Master Rigging: APEX in Houdini - ILMのジェ...

ILMのジェネラリスト山田 瑞来(Mizuki Yamada)氏がHoudiniのAPEXを活用したトランスフォームアニメーションについて解説するマスタークラス「Master Rigging: APEX in Houdini」の情報を公開しました!DOUBLEJUMP ACADEMYにて取り扱いされています。

続きを読む

Outrun - CGI Car Animation - José León M...

CGアーティストのJosé León Molfino氏が合間の時間を使って作った自動車アニメーション「Outrun」を公開しました!

続きを読む

Camera Tracker v1.2 - ズームや長尺映像にも対応した高精度な...

CGMatterからBlender向けのカメラトラッキングアドオン「Camera Tracker v1.2」がリリースされました!

続きを読む

従量課金制の Flex で柔軟に制作 | メディア&エンターテイメント | Autodesk

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction - 動画生成AIを活用し映像からシーン形状を再構築する技術!

この記事は約1分39秒で読めます

オックスフォード大学 視覚幾何学グループのZeren Jiang氏らによる、動画生成AIを活用し映像からシーン形状を再構築する技術アプローチ「Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction」が公開されています!


プロモーション

CGWORLD JAM ONLINE 2025


Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

動的シーンの単眼3D再構成のためにビデオ拡散モデルを再利用する手法であるGeo4Dを紹介する。 Geo4Dは、このようなビデオモデルによって捕捉される強力な動的事前分布を利用することで、ゼロショットで実データにうまく汎化しながら、合成データのみを用いて学習することができる。 Geo4Dは、複数の補完的な幾何学的モダリティ、すなわち点、深度、光線マップを予測する。 新しいマルチモーダルアライメントアルゴリズムを用いて、推論時にこれらのモダリティや複数のスライディングウィンドウを整列・融合させることで、長尺映像のロバストで正確な4D再構成を実現する。 複数のベンチマークにわたる広範な実験により、Geo4Dは、動的なシーンを扱うように設計されたMonST3Rのような最近の手法も含め、最先端のビデオ奥行き推定手法を大幅に上回ることが示されている。

  • Geo4D:動画生成モデルを活用した動的シーンの再構築フレームワークを提案
    市販の動画生成AI(例:ビデオディフュージョンモデル)を活用して、動きのあるシーンの形状を再構成する革新的な手法
  • 一貫した形状を学習させるための「マルチモーダル幾何表現」を導入
    ポイントマップ、深度マップ、レイマップなど、複数の形状データを組み合わせて、訓練中の安定したジオメトリ学習を実現
  • テスト時には軽量なマルチモーダル整合処理で形状を統合
    類似情報を含む複数の幾何表現を融合し、ブレのない4D再構築を実現
  • 動画からの深度推定で最先端(SOTA)性能を達成
    加えて、カメラの動き(ポーズ推定)についても従来手法と同等の精度を示す

こういう技術がどんどん進んでいくと、実写映像から動きも含めたリアルな3Dシーンを自動生成する未来が出てくるんですかね。深度情報もかなり安定した結果が得られているみたいですね。今後の展開が楽しみです。プロジェクトページやコードも公開されておりますので、気になる方は是非チェックしてみてください!

リンク

Screenshot of geo4d.github.io
Screenshot of github.com


プロモーション


関連記事

  1. NVIDIA ACE (Avatar Cloud Engine) - ゲームキャラクターと自然な対話を可能にするAI技術サービス群!早期アクセスが可能に!

    2024-01-09

  2. Meta 3D Gen - テキストからPBR対応のテクスチャ付き3Dモデルを1分未満で生成する技術をMeta社が発表!

    2024-07-06

  3. Seeing the World through Your Eyes - 瞳に反射した画像を元に3Dシーンを復元する技術!

    2023-06-18

  4. BlueWillow AI Beta - Discord上命令可能な新AI画像生成サービスが登場!現在無料のベータ提供中!

    2023-01-10

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

3DCG募集要項 | 株式会社Colorful Palette

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る