ポリゴンナイト~良いテクスチャは、良いベイクから~ プロの背景モデラーが教える! 現象→原因→設計で学ぶ、ベイクエラーに強くなるセミナー | CREATIVE VILLAGE SEMINAR

Niagara Compute Shader Integration - Nia...

ShaderTech(Aaron Trotter氏)による、Niagaraパーティクルにてコンピュートシェーダーの統合を実証するUnreal Engine 5用プラグイン「Niagara CS Integration」が公開されています。

続きを読む

RealityScan 2.0 - モバイル版(RealityCapture)も...

2025年6月3日Epic Gamesが3Dスキャンアプリ「RealityCapture」を「RealityScan」に統合しAIを活用した新機能などを加えた最新アップデート「RealityScan 2.0」を数週間以内にリリースすると発表!

続きを読む

The Witcher 4 Unreal Engine 5 Tech Demo ...

CD PROJEKT REDとEpic Gamesが共同開発した『The Witcher 4』の技術デモがUnreal Fest Orlandoにて公開。PS5実機で60FPS動作する圧巻のグラフィックと最先端の技術!

続きを読む

MetaHuman for Maya&Houdini - UE5.6リリースに合...

Unreal Engine 5.6にてかつてクラウド上で動作していた「MetaHuman Creator」が遂に統合されましたが、それに合わせて「MetaHuman」をMayaやHoudini上で編集&改変するための「MetaHuman for Maya」や「MetaHuman for Houdini」が公開されています!

続きを読む

Hello VFX -BlenderとDaVinci Resolveではじめる実...

38912 DIGITALの三宅 智之氏(@38912_DIGITAL)によるVFX解説本『Hello VFX -BlenderとDaVinci Resolveではじめる実写合成-』が2025年6月17日ごろ発売されます!

続きを読む

Autodesk Golaem 発表ウェビナー ~Mayaで群衆を自在に操る。Golaemで広がる表現力~ | イベント | Autodesk :: AREA JAPAN

MimicMotion : High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance - 1枚の人物のリファレンス画像を動かす技術!過去技術より安定した新たなフレームワークが登場!ComfyUI板もあるよ!

この記事は約1分41秒で読めます

Tencentと上海Jiao Tong大学の研究者たちによる1枚の人物のリファレンス画像を動かす技術「MimicMotion : High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance」が登場していました。過去技術より安定した結果を得られるそうです。


プロモーション

CGWORLD vol.322(2025年6月号)5月10日(土)発売! アニメ『TO BE HERO X』


MimicMotion : High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance

近年、生成人工知能は画像生成の分野で大きな進歩を遂げ、様々な応用が生み出されている。しかし、映像生成は、制御性、映像の長さ、ディテールの豊富さなど、様々な面で未だ大きな課題を抱えており、この技術の応用や普及を妨げている。本研究では、MimicMotionと名付けられた制御可能な動画生成フレームワークを提案する。従来の手法と比較して、我々のアプローチにはいくつかの特徴がある。第一に、信頼性を考慮したポーズガイダンスにより、時間的な滑らかさを達成することができるため、大規模な訓練データによりモデルの頑健性を向上させることができる。第二に、ポーズ信頼度に基づく領域損失増幅は、画像の歪みを大幅に緩和する。最後に、長い滑らかな動画を生成するために、漸進的な潜在融合戦略を提案する。これにより、任意の長さの動画を許容可能なリソース消費で生成することができる。広範な実験とユーザースタディにより、MimicMotionは、様々な側面において、従来のアプローチよりも大幅に改善されていることを示す。

MimicMotionは、画像から映像への拡散モデルと、新しい信頼性を考慮したポーズガイダンスを統合しています。このモデルの学習可能なコンポーネントは、時空間U-Netと、ポーズシーケンスを条件として導入するためのPoseNetで構成される。確信度考慮ポーズガイダンスの主な特徴は以下の通りである: 1)ポーズシーケンスにはキーポイントの信頼度スコアが付加され、モデルはスコアに基づいて適応的にポーズガイダンスの影響力を調整することができる。2) 信頼度の高い領域は、損失関数においてより大きな重みを与えられ、学習における影響を増幅する。

1枚の画像があれば簡単に動かすことが出来る系技術はこれまでもたくさん登場していましたが、かなり安定してきましたね。このレベルなら色々使い所も多そうです。
「MimicMotion」はコードも公開中、ComfyUI向けにも公開されておりますので、手軽に導入することが出来そうです。是非チェックしてみてください!

リンク

Screenshot of tencent.github.io
Screenshot of github.com
Screenshot of github.com
Screenshot of arxiv.org

プロモーション


関連記事

  1. PrimitiveAnything - Tencentが単純な3Dプリミティブ形状の組み合わせでオブジェクトを生成する技術をオープンソース公開!SIGGRAPH 2025

    2025-05-12

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

3DCG募集要項 | 株式会社Colorful Palette

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る