COYOTE スタジオ採用説明会 | クリエイターのための総合情報サイト CREATIVE VILLAGE

mSculpt | BlenderでHD領域を選んで高精細スカルプト&Displ...

mPainterの開発者Mattias Lind氏(@mattiaslind93)が、Blender向けアドオン「mSculpt - HDgeometry sculpting for Blender…

続きを読む

Folio | HTML/CSS風の記述でゲームUIを作成!操作できる画面を3D...

Fogspireが、Unreal Engine 5向けの無料UIフレームワーク「Folio」をGitHubで公開しています。HTML/CSSに似たマークアップとスタイルシートで、メニューやHUD、ゲ…

続きを読む

Blender 5.3 | 3D Gaussian Splattingに標準対応...

Blender Foundationと開発コミュニティは、2026年11月10日、無料&オープンソースの3DCGソフト「Blender 5.3」を正式リリースしました!

続きを読む

HairDeck: Animation-Ready Stylized Hair ...

清華大学のYuze He氏・Yixiang Wei氏ら&カーネギーメロン大学・香港中文大学の研究チームが、1枚の画像からスタイライズされた3Dヘアを生成する技術「HairDeck」を公開しています。

続きを読む

HairHarpy v2.0.0 | カーブによるメッシュ生成やUV展開&リトポ...

3DキャラクターアーティストのCataRackta氏( @CataRackta )が、スタイライズされた髪型を制作するソフト「HairHarpy v2.0.0」を無料公開しました。

続きを読む

AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models - 動画生成AIを活用した3Dアニメーション生成フレームワーク!

この記事は約1分43秒で読めます

動画拡散モデルの運動知識と骨格ベースアニメーションの制御性を融合するフレームワーク「AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models」のプロジェクトページが公開されています。

AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models

我々は、映像拡散モデルのモーションプリオールと、スケルトンベースのアニメーションの制御可能な構造を橋渡しする、フィードフォワード3DアニメーションフレームワークであるAnimaXを発表する。従来のモーション合成手法は、固定された骨格トポロジーに制限されるか、高次元の変形空間でコストのかかる最適化を必要とする。これに対してAnimaXは、ビデオベースのモーション知識を3D領域に効果的に転送し、任意の骨格を持つ多様な多関節メッシュをサポートします。私たちの手法は、3Dモーションをマルチビュー、マルチフレームの2Dポーズマップとして表現し、テンプレートレンダリングとテキストによるモーションプロンプトを条件として、ビデオとポーズのジョイント拡散を可能にします。ビデオとポーズシーケンス間の空間的・時間的整合を保証するために、共有位置エンコーディングとモダリティを考慮した埋め込みを導入し、ビデオプリオをモーション生成タスクに効果的に転送する。得られたマルチビューのポーズシーケンスは、3D関節位置に三角測量され、インバースキネマティクスを介してメッシュアニメーションに変換される。160,000のリギングされたシーケンスからなる新たにキュレートされたデータセットでトレーニングされたAnimaXは、VBenchにおいて汎化、モーション忠実度、効率性において最先端の結果を達成し、カテゴリーにとらわれない3Dアニメーションのためのスケーラブルなソリューションを提供します。

  • テキストで表現された動きをテンプレートから生成
  • 多視点の2DポーズマップとRGB動画を同時生成
  • 逆運動学で3Dスケルトンアニメーション化
  • カテゴリ非依存:人型・動物・機械・家具にも対応
  • 高精度×高速:学習済みモデルを用いたフィードフォワード処理で数分以内に生成可能
  • 大規模データで訓練:約16万シーケンスのリグ付きモーションデータ使用arxiv.org

簡単に言うと「動画を作るAIを応用して、3Dキャラの動きを自動で作ってくれる技術」って感じですかね。
結構良さそうなアプローチだと思いました。Githubの方はComing Soonとなっています。公開が楽しみですね。

リンク

Screenshot of anima-x.github.io

PR

関連記事

  1. Seeing the World through Your Eyes - 瞳に反射した画像を元に3Dシーンを復元する技術!

    2023-06-18

  2. BlueWillow AI Beta - Discord上命令可能な新AI画像生成サービスが登場!現在無料のベータ提供中!

    2023-01-10

  3. QuickSplat: Fast 3D Surface Reconstruction via Learned Gaussian Initialization - 大規模な室内シーンのガウススプラッティングを最適化!AIを活用し従来の約8倍高速&最大48%高精度な3D構築技術!

    2025-05-13

  4. Novel Generative AI System To Assist Conceptual Automotive Design - Autodesk Researchチームによる生成AIを活用した自動車のコンセプトデザイン紹介映像!

    2024-06-29

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!
※当サイトのリンクにはアフィリエイトを含みます

※当サイトの一部記事にはアフィリエイトが含まれております。

スポンサープロダクト


X-Ray Realtime Light and TexturingTool

CGElementaryに関する記事一覧


Character Creator - アニメーション、ゲーム、AR/VR のための 3D キャラメイクソフト

Reallusionに関する記事一覧


Paintstorm Studio

Paintstorm Studioに関する記事一覧


MarvelousDesigner

MarvelousDesignerに関する記事一覧


JangaFX - Real-Time VFX Software For Real-Time VFX Artists

JangaFXに関する記事一覧


パルミーの講座が見放題!月謝制お申し込み|お絵かき講座パルミー

Palmieに関する記事一覧


AAA Character Creation: The Boxing Bunny

WINGFOXに関する記事一覧


アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR






Donate

   
USD
3D人のLINEアカウントを作りました!
友だち追加




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る