3D動かさナイト モーションアクターが語る・動く・魅せる! | CREATIVE VILLAGE SEMINAR

【Nuke】ガチの初心者向けCGのコンポジット大解説‼ 最後にベテ...

CGモデラー&YouTuberの前東 勇次(Yuji Maehigashi)氏が運営するYoutubeチャンネル『HigaCGチャンネル』にて、コンポジターの大槻 直貴(Naoki Otsuki)氏にレクチャーを受ける様子を録画した動画が公開されました!

続きを読む

CGWORLD27周年記念 特大プレゼント企画 - アンケートに答えて豪華プレゼ...

CGWORLDが27周年記念の特大プレゼント企画を実施中!「CGWORLD27周年記念 特大プレゼント企画」の応募締切は2025年8月8日(金)のAM10:00までです!

続きを読む

Planetary Gear Generator for Blender v1....

kame404( @kame404 )氏が「遊星歯車(プラネタリーギア)」メッシュを生成できる無料のBlenderアドオン「Planetary Gear Generator for Blender v1.0」をGithub上で公開しました!

続きを読む

MOVIN - 単一のLiDAR&RGBカメラを搭載したデバイスでマーカー&スー...

単一のLiDAR&RGBカメラを搭載したデバイスでマーカー&スーツ不要モーションキャプチャが可能なソリューション「MOVIN(ムービン)」が2025年8月1日に提供開始されました!

続きを読む

PivotPainter2 for Maya - テクニカルアーティストの神崎 ...

テクニカルアーティストの神崎 建三 氏が、Maya向けのPivotPainter2ベイクスクリプトを開発!「PivotPainter2 for Maya」を近日OSSとして公開する事を発表しました!

続きを読む

従量課金制の Flex で柔軟に制作 | メディア&エンターテイメント | Autodesk

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction - 動画生成AIを活用し映像からシーン形状を再構築する技術!

この記事は約1分39秒で読めます

オックスフォード大学 視覚幾何学グループのZeren Jiang氏らによる、動画生成AIを活用し映像からシーン形状を再構築する技術アプローチ「Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction」が公開されています!


プロモーション

CGWORLD vol.325(2025年9月号)8月8日(金)発売! 「セガの現在地」


Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

動的シーンの単眼3D再構成のためにビデオ拡散モデルを再利用する手法であるGeo4Dを紹介する。 Geo4Dは、このようなビデオモデルによって捕捉される強力な動的事前分布を利用することで、ゼロショットで実データにうまく汎化しながら、合成データのみを用いて学習することができる。 Geo4Dは、複数の補完的な幾何学的モダリティ、すなわち点、深度、光線マップを予測する。 新しいマルチモーダルアライメントアルゴリズムを用いて、推論時にこれらのモダリティや複数のスライディングウィンドウを整列・融合させることで、長尺映像のロバストで正確な4D再構成を実現する。 複数のベンチマークにわたる広範な実験により、Geo4Dは、動的なシーンを扱うように設計されたMonST3Rのような最近の手法も含め、最先端のビデオ奥行き推定手法を大幅に上回ることが示されている。

  • Geo4D:動画生成モデルを活用した動的シーンの再構築フレームワークを提案
    市販の動画生成AI(例:ビデオディフュージョンモデル)を活用して、動きのあるシーンの形状を再構成する革新的な手法
  • 一貫した形状を学習させるための「マルチモーダル幾何表現」を導入
    ポイントマップ、深度マップ、レイマップなど、複数の形状データを組み合わせて、訓練中の安定したジオメトリ学習を実現
  • テスト時には軽量なマルチモーダル整合処理で形状を統合
    類似情報を含む複数の幾何表現を融合し、ブレのない4D再構築を実現
  • 動画からの深度推定で最先端(SOTA)性能を達成
    加えて、カメラの動き(ポーズ推定)についても従来手法と同等の精度を示す

こういう技術がどんどん進んでいくと、実写映像から動きも含めたリアルな3Dシーンを自動生成する未来が出てくるんですかね。深度情報もかなり安定した結果が得られているみたいですね。今後の展開が楽しみです。プロジェクトページやコードも公開されておりますので、気になる方は是非チェックしてみてください!

リンク

Screenshot of geo4d.github.io
Screenshot of github.com


プロモーション


関連記事

  1. Segment Anything Model 2 (SAM2) - Meta社による動画内からオブジェクトを識別可能なAIモデルが発表!Github上でソース公開!

    2024-08-05

  2. AIによるアニメ中割生成 - DeNAの「構造的生成学習」を使用したアニメの中割生成技術!

    2019-02-19

  3. BlueWillow AI Beta - Discord上命令可能な新AI画像生成サービスが登場!現在無料のベータ提供中!

    2023-01-10

  4. Talking Head Anime from a Single Image 3 - 1枚の2Dキャラ立ち絵からVTuberになれるAI技術の新バージョン!上半身の動きにも対応!

    2022-06-06

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

3DCG募集要項 | 株式会社Colorful Palette

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る