エントリーフォーム - COYOTE 3DCG STUDIO | C&R Creative Studios

Universal Blender Material - UV不要!ハードサーフ...

Alexei( @munsplit )によるBlender向けマテリアルアセット「Universal Blender Material」がArtstation上でリリースされています!

続きを読む

FT SIMULATION - 物理シミュレーションで大量のオブジェクトを配置...

テクニカルアートディレクターのArt by Rens氏による物理シミュレーションで大量のオブジェクトを配置できるUnreal Engine 5向けプラグイン「FT SIMULATION」のベータ版がリリース!

続きを読む

EasyAtmos - 岩崩れ、瓦礫、葉、虫、埃、霧、煙などでシーンの雰囲気を向...

William Faucher氏によるEasyアセットシリーズ最新作「EasyAtmos」がFab上でリリースされました!岩崩れ、瓦礫、葉、虫、埃、霧、煙などでシーンの雰囲気を向上させる事が可能なです!

続きを読む

SpatialTrackerV2 - 単眼動画からカメラの動きとシーン形状とピク...

浙江大学 CAD&CG研究所、オックスフォード大学、Ant Research(アント・グループ研究所)、Pixelwise AI、ByteDance Seedチームの共同研究チームが、3Dポイントトラッキングの新技術「SpatialTrackerV2」を発表。カメラの動き、シーンの形、そして個々のピクセルの動きをまとめて一気に推定できる画期的な学習モデルです。

続きを読む

Hunyuan3D-PolyGen - Tencentの3D生成AIモデル!ゲー...

中国の大手IT企業テンセントの3D生成AIモデル「Hunyuan3D-PolyGen」が公開されました!ゲーム用途にも使えるトポロジーでのメッシュ生成が可能とのこと。

続きを読む

従量課金制の Flex で柔軟に制作 | メディア&エンターテイメント | Autodesk

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction - 動画生成AIを活用し映像からシーン形状を再構築する技術!

この記事は約1分39秒で読めます

オックスフォード大学 視覚幾何学グループのZeren Jiang氏らによる、動画生成AIを活用し映像からシーン形状を再構築する技術アプローチ「Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction」が公開されています!


プロモーション

CGWORLD JAM ONLINE 2025


Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

動的シーンの単眼3D再構成のためにビデオ拡散モデルを再利用する手法であるGeo4Dを紹介する。 Geo4Dは、このようなビデオモデルによって捕捉される強力な動的事前分布を利用することで、ゼロショットで実データにうまく汎化しながら、合成データのみを用いて学習することができる。 Geo4Dは、複数の補完的な幾何学的モダリティ、すなわち点、深度、光線マップを予測する。 新しいマルチモーダルアライメントアルゴリズムを用いて、推論時にこれらのモダリティや複数のスライディングウィンドウを整列・融合させることで、長尺映像のロバストで正確な4D再構成を実現する。 複数のベンチマークにわたる広範な実験により、Geo4Dは、動的なシーンを扱うように設計されたMonST3Rのような最近の手法も含め、最先端のビデオ奥行き推定手法を大幅に上回ることが示されている。

  • Geo4D:動画生成モデルを活用した動的シーンの再構築フレームワークを提案
    市販の動画生成AI(例:ビデオディフュージョンモデル)を活用して、動きのあるシーンの形状を再構成する革新的な手法
  • 一貫した形状を学習させるための「マルチモーダル幾何表現」を導入
    ポイントマップ、深度マップ、レイマップなど、複数の形状データを組み合わせて、訓練中の安定したジオメトリ学習を実現
  • テスト時には軽量なマルチモーダル整合処理で形状を統合
    類似情報を含む複数の幾何表現を融合し、ブレのない4D再構築を実現
  • 動画からの深度推定で最先端(SOTA)性能を達成
    加えて、カメラの動き(ポーズ推定)についても従来手法と同等の精度を示す

こういう技術がどんどん進んでいくと、実写映像から動きも含めたリアルな3Dシーンを自動生成する未来が出てくるんですかね。深度情報もかなり安定した結果が得られているみたいですね。今後の展開が楽しみです。プロジェクトページやコードも公開されておりますので、気になる方は是非チェックしてみてください!

リンク

Screenshot of geo4d.github.io
Screenshot of github.com


プロモーション


関連記事

  1. Unity ArtEngine - AIを活用した新テクノロジー紹介!Unite Now 2020 注目講演の日本語吹替&解説動画が公開!

    2020-10-21

  2. NormalmapLighting - とりにく氏による線画から法線マップを生成&ライティングが出来るAI活用アプリ!fanboxにてアーリアクセス開始!4月6日には一般公開予定!

    2024-04-04

  3. BlueWillow AI Beta - Discord上命令可能な新AI画像生成サービスが登場!現在無料のベータ提供中!

    2023-01-10

  4. Seeing the World through Your Eyes - 瞳に反射した画像を元に3Dシーンを復元する技術!

    2023-06-18

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

3DCG募集要項 | 株式会社Colorful Palette

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る