株式会社ゲームフリーク 中途採用オンライン個別面談・面接会|ゲーム業界の求人・転職・中途採用情報なら【ファミキャリ!】

Generate Partition - フィギュア制作&3Dプリント向けにメッ...

キャラクターモデラーの林田宗篤( @MuneatsuH )氏による、メッシュのパーツ分割を行うBlender用Geometry Nodesデータ「Generate Partition」がリリースされました!

続きを読む

Hagoromo v1.0 - 物理挙動でボーンを揺らすことが可能なUnreal...

ゲームプログラマのノゾクサ氏( @nozoxa_0131 )による、ボーンを利用した位置ベースの物理シミュレーションUnreal Engineプラグイン「Hagoromo」がリリースされました!オープンソースで無料です!

続きを読む

Mio3 Curve Edges - エッジループをスプラインカーブを使用しサク...

多数の便利アドオンを無償公開しているmio3氏がエッジループをスプラインカーブを使ってサクッと変形出来る機能「Mio3 Curve Edges」を搭載した無料のBlenderアドオン「Mio3 Mesh Tools」が公開されました!

続きを読む

Solidify Plus v1.0 - フチの分割やベベル&クリース制御調整な...

数多くのBlender向けアセットを公開しているNodes Interactive(@BeltMakerTool)による、多機能なソリッド化を実現可能なGeometry Nodesモディファイア「Solidify Plus v1.0」がリリースされました!

続きを読む

【PR】WINGFOX-The Leading Platform for Art...

4月29日~5月6日の間、CG&デジタルアート学習オンラインプラットフォーム「WINGFOX」にて日本語講座のセールイベント「WINGFOX-The Leading Platform for Artists to Keep Growing!」が開催中です!

続きを読む

従量課金制の Flex で柔軟に制作 | メディア&エンターテイメント | Autodesk

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction - 動画生成AIを活用し映像からシーン形状を再構築する技術!

この記事は約1分39秒で読めます

オックスフォード大学 視覚幾何学グループのZeren Jiang氏らによる、動画生成AIを活用し映像からシーン形状を再構築する技術アプローチ「Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction」が公開されています!


プロモーション

CGWORLD vol.322(2025年6月号)5月10日(土)発売! アニメ『TO BE HERO X』


Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

動的シーンの単眼3D再構成のためにビデオ拡散モデルを再利用する手法であるGeo4Dを紹介する。 Geo4Dは、このようなビデオモデルによって捕捉される強力な動的事前分布を利用することで、ゼロショットで実データにうまく汎化しながら、合成データのみを用いて学習することができる。 Geo4Dは、複数の補完的な幾何学的モダリティ、すなわち点、深度、光線マップを予測する。 新しいマルチモーダルアライメントアルゴリズムを用いて、推論時にこれらのモダリティや複数のスライディングウィンドウを整列・融合させることで、長尺映像のロバストで正確な4D再構成を実現する。 複数のベンチマークにわたる広範な実験により、Geo4Dは、動的なシーンを扱うように設計されたMonST3Rのような最近の手法も含め、最先端のビデオ奥行き推定手法を大幅に上回ることが示されている。

  • Geo4D:動画生成モデルを活用した動的シーンの再構築フレームワークを提案
    市販の動画生成AI(例:ビデオディフュージョンモデル)を活用して、動きのあるシーンの形状を再構成する革新的な手法
  • 一貫した形状を学習させるための「マルチモーダル幾何表現」を導入
    ポイントマップ、深度マップ、レイマップなど、複数の形状データを組み合わせて、訓練中の安定したジオメトリ学習を実現
  • テスト時には軽量なマルチモーダル整合処理で形状を統合
    類似情報を含む複数の幾何表現を融合し、ブレのない4D再構築を実現
  • 動画からの深度推定で最先端(SOTA)性能を達成
    加えて、カメラの動き(ポーズ推定)についても従来手法と同等の精度を示す

こういう技術がどんどん進んでいくと、実写映像から動きも含めたリアルな3Dシーンを自動生成する未来が出てくるんですかね。深度情報もかなり安定した結果が得られているみたいですね。今後の展開が楽しみです。プロジェクトページやコードも公開されておりますので、気になる方は是非チェックしてみてください!

リンク

Screenshot of geo4d.github.io
Screenshot of github.com


プロモーション


関連記事

  1. Chimera Painter - GoogleがGANを使用したクリーチャー生成のアプローチとペイントツールをWeb上で公開

    2020-11-19

  2. RigNet - ディープラーニングを活用しモデルへのスキニングを自動で行う技術のソースコードが公開!

    2020-10-22

  3. NormalmapLighting - とりにく氏による線画から法線マップを生成&ライティングが出来るAI活用アプリ!fanboxにてアーリアクセス開始!4月6日には一般公開予定!

    2024-04-04

  4. 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering - 動的な3Dガウス・スプラッティングシーン学習&軽量にリアルタイム再生する技術!

    2023-11-06

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR


採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る