UniMate: One Unified Model to Animate Diverse Skeletons | テキストから人間・動物・クリーチャー・ロボットなど多様なリグの3Dアニメーションを生成できるオープンソースAI！

Princeton Universityなどの研究チームが、リグ済み3Dモデルとテキストから多様なスケルトンのモーションを生成できるAIモデル「UniMate」を公開。コードはMITライセンスで公開されています。

UniMate: One Unified Model to Animate Diverse Skeletons

「UniMate: One Unified Model to Animate Diverse Skeletons」は、リグ済み3Dアセットとテキストプロンプトを入力することで、スケルトン構造に応じたアニメーションを生成するAIモデルです。
人型キャラクターだけを対象としたモデルではなく、人間、四足動物、鳥類、海洋生物、昆虫、蛇型の生物、ロボットなど、異なる構造を持つスケルトンを単一のモデルで扱える点が大きな特徴です。
対象となるスケルトンごとにモデルを再学習したり、推論時に個別の最適化を行ったりする必要はありません。
SIGGRAPH Asia 2026に採択された研究で、Princeton University、UC Berkeley、MIT、NTUの研究者らによって開発されています。

• リグ済み3Dモデルとテキストからモーションを生成
• 人型から四足動物、鳥、魚、昆虫、蛇型、ロボットなど多様なスケルトンに対応
• 異なるスケルトンを1つのモデルで処理
• スケルトンごとの再学習や推論時の最適化が不要
• 同じプロンプトから異なるスケルトンへ動きを生成可能
• 開始・終了ポーズなどを固定したモーション補間に対応
• 特定のジョイントの動きを維持したままテキストでモーションを編集可能
• 複数のテキストプロンプトを繋いでモーションを延長可能
• 生成したモーションを適用したアニメーションメッシュをGLB / FBXとして出力可能

スケルトン構造そのものを条件として利用

UniMateでは「Topology-Aware Diffusion Transformer」と呼ばれる仕組みを採用しています。
単純にジョイントの位置だけを見るのではなく、ジョイント同士の関係やスケルトンの階層構造などをモデルへ組み込み、異なるトポロジーを持つスケルトンを扱えるようにしています。

• ジョイント間の関係と測地距離を利用したGraph-Aware Attention Bias
• Graph Laplacianを利用し、任意のキネマティックツリーへRoPEを拡張したSpectral Rotary Position Embedding
• Rest Poseのスケルトンから構造全体の情報を抽出するGlobal Topological Conditioner

13,006のモーションを収録した「UniML3D」

学習には、研究チームが構築した「UniML3D」データセットが使用されています。
UniML3Dには13,006のテキストとペアになったモーションシーケンスが収録されており、

• Bipedal（二足歩行）
• Quadrupedal（四足）
• Avian（鳥類）
• Marine（海洋生物）
• Insectoid（昆虫型）
• Serpentine（蛇型）
• Articulated Rigid Objects（関節を持つ剛体オブジェクト）

など幅広いスケルトン構造が含まれています。
Mixamo、Objaverse-XL、Truebonesなど複数のデータソースを統合し、スケルトン構造、座標系、ジョイント名、向きなどを正規化して学習データとして利用しています。

モーション補間

UniMateは単純なText-to-Motionだけではなく、既存モーションを利用した編集にも対応しています。
Motion In-Betweeningでは、指定したキーフレームを固定し、その間を埋めるモーションをテキストプロンプトに従って生成できます。
例えば開始ポーズと終了ポーズを指定し、その間の動きをAIに生成させるといった使い方が可能です。

テキストによるモーション編集

Motion Editingでは、既存モーションの一部のジョイントを固定したまま、残りのモーションを新しいテキストプロンプトに従って生成できます。例えば頭部の動きを維持しながら身体側の動きを変更するといった編集が可能です。

複数プロンプトによるモーション延長

Motion Expansionでは、複数のテキストプロンプトを順番に与えることで長いモーションを生成できます。
例えば、「立ち上がる」→「前方へ歩く」→「その場で振り返る」
といった複数の動作を連続したアニメーションとして生成できます。

ソースコードとPreview Checkpointを公開

UniMateの学習・推論コードはGitHub上で公開されており、コードはMITライセンスです。
またHugging FaceではPreview Checkpointも公開されています。
生成結果はモーションデータとして保存できるほか、付属のデータ処理パイプラインを使用することで、生成したモーションを元のリグへ適用し、アニメーション付きGLB / FBXとしてエクスポートできます。
なおUniML3Dを構成する各データについては、それぞれ元データのライセンスが適用されるため注意してください。

リンク