株式会社ゲームフリーク 中途採用オンライン個別面談・面接会|ゲーム業界の求人・転職・中途採用情報なら【ファミキャリ!】

Revopoint Trackit - コインから自動車まで幅広く対応!マーカー...

Revopoint社の新作、マーカーレス光学トラッキング式3Dスキャナー「Trackit」が海外のKickstrterにて公開されました!日本向けには7月1日よりCAMPFIREで販売ページが公開するとのこと!

続きを読む

CMAA2 (Anti-Aliasing) - 軽量でシャープ!Intelのアン...

Dmitry Karpukhin氏によるUnreal Engine向けアンチエイリアシングプラグイン「CMAA2(Conservative Morphological Anti-Aliasing 2)」がFab上でリリースされています!

続きを読む

Physics Platformer Toolkit - Unreal Engi...

Unreal Engine向け物理挙動チュートリアルでお馴染みLusiogenicから、物理演算を活用したプラットフォーマーツールキット「Physics Platformer Toolkit」がFab上でリリースされました!

続きを読む

3Dconnexion SpaceMouse Review - 作業効率を次の次...

3DconnexionのSpaceMouseシリーズは、独自の3Dマウス(6Dof入力)を備えた、3DモデリングやCAD作業における視点操作を直感的かつ効率的に行うためのデバイスです。今回主な3モデルである「SpaceMouse Wireless」「SpaceMouse Pro Wireless」「SpaceMouse Enterprise」をご提供いただきましたので、特徴や使用感を比較レビューします!

続きを読む

HERITAGE | A Blender Animated Short - Jo...

3DアーティストのJosué Zabeau氏によるBlenderを使用した自動車ショートアニメーション作品「HERITAGE」がYoutube上で公開されています!

続きを読む

従量課金制の Flex で柔軟に制作 | メディア&エンターテイメント | Autodesk

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction - 動画生成AIを活用し映像からシーン形状を再構築する技術!

この記事は約1分39秒で読めます

オックスフォード大学 視覚幾何学グループのZeren Jiang氏らによる、動画生成AIを活用し映像からシーン形状を再構築する技術アプローチ「Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction」が公開されています!


プロモーション

CGWORLD vol.322(2025年6月号)5月10日(土)発売! アニメ『TO BE HERO X』


Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

動的シーンの単眼3D再構成のためにビデオ拡散モデルを再利用する手法であるGeo4Dを紹介する。 Geo4Dは、このようなビデオモデルによって捕捉される強力な動的事前分布を利用することで、ゼロショットで実データにうまく汎化しながら、合成データのみを用いて学習することができる。 Geo4Dは、複数の補完的な幾何学的モダリティ、すなわち点、深度、光線マップを予測する。 新しいマルチモーダルアライメントアルゴリズムを用いて、推論時にこれらのモダリティや複数のスライディングウィンドウを整列・融合させることで、長尺映像のロバストで正確な4D再構成を実現する。 複数のベンチマークにわたる広範な実験により、Geo4Dは、動的なシーンを扱うように設計されたMonST3Rのような最近の手法も含め、最先端のビデオ奥行き推定手法を大幅に上回ることが示されている。

  • Geo4D:動画生成モデルを活用した動的シーンの再構築フレームワークを提案
    市販の動画生成AI(例:ビデオディフュージョンモデル)を活用して、動きのあるシーンの形状を再構成する革新的な手法
  • 一貫した形状を学習させるための「マルチモーダル幾何表現」を導入
    ポイントマップ、深度マップ、レイマップなど、複数の形状データを組み合わせて、訓練中の安定したジオメトリ学習を実現
  • テスト時には軽量なマルチモーダル整合処理で形状を統合
    類似情報を含む複数の幾何表現を融合し、ブレのない4D再構築を実現
  • 動画からの深度推定で最先端(SOTA)性能を達成
    加えて、カメラの動き(ポーズ推定)についても従来手法と同等の精度を示す

こういう技術がどんどん進んでいくと、実写映像から動きも含めたリアルな3Dシーンを自動生成する未来が出てくるんですかね。深度情報もかなり安定した結果が得られているみたいですね。今後の展開が楽しみです。プロジェクトページやコードも公開されておりますので、気になる方は是非チェックしてみてください!

リンク

Screenshot of geo4d.github.io
Screenshot of github.com


プロモーション


関連記事

  1. Ubisoft Toronto "IK Rig" Prototype - UBIソフト トロントスタジオによるIKを活用したリグモデルのプロトタイプ映像!

    2015-06-16

  2. AIによるアニメ中割生成 - DeNAの「構造的生成学習」を使用したアニメの中割生成技術!

    2019-02-19

  3. Segment Anything Model 2 (SAM2) - Meta社による動画内からオブジェクトを識別可能なAIモデルが発表!Github上でソース公開!

    2024-08-05

  4. Novel Generative AI System To Assist Conceptual Automotive Design - Autodesk Researchチームによる生成AIを活用した自動車のコンセプトデザイン紹介映像!

    2024-06-29

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR


採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る