ねこおもち氏（ @neko_omochi_vrc ）による、文章や写真・動画からVRChatアバター向けのエモート・ポーズ・移動モーションをローカルAIで生成できるUnity拡張「VRC Motion Studio」がリリースされました。
VRC Motion Studio
VRC Motion Studioは、VRChatアバター向けのAIモーション作成Unity拡張です。
「両手を振って大きくジャンプ」といった日本語の文章からモーションを生成できるほか、全身写真や動画を参照したモーション生成にも対応。AI処理はクラウドではなくPC上で実行され、生成から編集、VRChatアバターへの組み込みまで行えます。
- 文章からモーション生成：日本語の文章から複数のモーション候補を生成。6カテゴリ35種類の例文も収録
- 写真・動画から生成：最大8枚の全身写真や動画から動きを読み取ってモーションを生成
- ループモーション生成：待機、ダンス、歩行などに利用できるシームレスなループモーションを生成
- 部分的なAI修正：時間範囲や身体部位を指定し、該当部分だけを再生成
- IKポーズ編集：ハンドルによるポーズ調整や指の開閉に対応
- 表情編集：表情タイムラインを使用し、まばたきやリップシンクと共存する表情アニメーションを作成
- アバターへの導入：VRChatのExpression Menuに近い円形UIから配置先を指定可能。Modular Avatarにも対応
- 移動モーション生成：テーマを指定して歩き、走り、しゃがみなど約20種類の移動モーションを一括生成
- 多言語UI：日本語、英語、簡体字中国語、韓国語に対応
写真や動画を使用する場合も処理はPC内で行われ、入力データが外部へ送信されることはないとされています。
生成したモーションはVRChat以外でも利用可能
生成されるモーションはUnity標準のHumanoid AnimationClip（.anim）のため、生成物自体はVRChat以外の用途にも流用できます。
ただし、アバターへの自動導入機能についてはVRChat SDK3専用です。
また、生成したモーション、ポーズ、表情アニメーションは個人・商用利用が可能。自作アバターやワールド、動画、配信での利用に加えて、配布・販売する商品への同梱も認められています。
ローカル環境でAIを実行
AI処理はクラウドサービスではなくユーザーのPC上で実行されるため、月額料金や追加のアカウント登録は不要です。
初回セットアップ時には約22GBのAIデータをNVIDIAおよびMetaの公式配布元からダウンロードします。
AIモデルの利用には「NVIDIA Open Model License」と「Meta Llama 3 Community License」への同意が必要です。また、姿勢推定にはMediaPipeが使用されています。
動作環境
- Windows 10 / 11（64bit）
- NVIDIA GPU（VRAM 3GB以上）必須
- メモリ32GB推奨
- ストレージ空き容量 約40GB
- Unity 2022.3系
- VRChat SDK3 Avatars
- 初回セットアップ時にインターネット接続が必要
- Python 3.13（未導入の場合は自動インストール）
これは中々便利そう！
こういう生成AIは「生成した後どう使うか」の工程が意外と面倒だったりするので
実際のVRC向けワークフローまでまとめているのは良いですね
「VRC Motion Studio」はBOOTHにて販売中です。
早期購入特典版は1,000円、通常版は2,000円となっています。
是非チェックしてみてください！
リンク
コメント