VRC Motion Studio | 文章や写真・動画からVRChat向けモーションをローカルAIで生成＆編集できるUnity拡張

ねこおもち氏（ @neko_omochi_vrc ）による、文章や写真・動画からVRChatアバター向けのエモート・ポーズ・移動モーションをローカルAIで生成できるUnity拡張「VRC Motion Studio」がリリースされました。

VRC Motion Studio

VRC Motion Studioは、VRChatアバター向けのAIモーション作成Unity拡張です。
「両手を振って大きくジャンプ」といった日本語の文章からモーションを生成できるほか、全身写真や動画を参照したモーション生成にも対応。AI処理はクラウドではなくPC上で実行され、生成から編集、VRChatアバターへの組み込みまで行えます。

• 文章からモーション生成：日本語の文章から複数のモーション候補を生成。6カテゴリ35種類の例文も収録
• 写真・動画から生成：最大8枚の全身写真や動画から動きを読み取ってモーションを生成
• ループモーション生成：待機、ダンス、歩行などに利用できるシームレスなループモーションを生成
• 部分的なAI修正：時間範囲や身体部位を指定し、該当部分だけを再生成
• IKポーズ編集：ハンドルによるポーズ調整や指の開閉に対応
• 表情編集：表情タイムラインを使用し、まばたきやリップシンクと共存する表情アニメーションを作成
• アバターへの導入：VRChatのExpression Menuに近い円形UIから配置先を指定可能。Modular Avatarにも対応
• 移動モーション生成：テーマを指定して歩き、走り、しゃがみなど約20種類の移動モーションを一括生成
• 多言語UI：日本語、英語、簡体字中国語、韓国語に対応

写真や動画を使用する場合も処理はPC内で行われ、入力データが外部へ送信されることはないとされています。

生成したモーションはVRChat以外でも利用可能

生成されるモーションはUnity標準のHumanoid AnimationClip（.anim）のため、生成物自体はVRChat以外の用途にも流用できます。
ただし、アバターへの自動導入機能についてはVRChat SDK3専用です。
また、生成したモーション、ポーズ、表情アニメーションは個人・商用利用が可能。自作アバターやワールド、動画、配信での利用に加えて、配布・販売する商品への同梱も認められています。

ローカル環境でAIを実行

AI処理はクラウドサービスではなくユーザーのPC上で実行されるため、月額料金や追加のアカウント登録は不要です。
初回セットアップ時には約22GBのAIデータをNVIDIAおよびMetaの公式配布元からダウンロードします。
AIモデルの利用には「NVIDIA Open Model License」と「Meta Llama 3 Community License」への同意が必要です。また、姿勢推定にはMediaPipeが使用されています。

動作環境

• Windows 10 / 11（64bit）
• NVIDIA GPU（VRAM 3GB以上）必須
• メモリ32GB推奨
• ストレージ空き容量 約40GB
• Unity 2022.3系
• VRChat SDK3 Avatars
• 初回セットアップ時にインターネット接続が必要
• Python 3.13（未導入の場合は自動インストール）

リンク