DuetGen - 音楽駆動による二人のペアダンスモーション生成システム！音楽とシナジーするインタラクティブなダンスを自動生成！

DFKI、Max Planck、Snap Inc.などの研究チームが手がけた、音楽を入力するだけで、二人ペアでシンクロするインタラクティブなダンスシーンを自動生成するAI技術「DuetGen」が登場。音楽とキャラクター同士のやり取りまで自然に再現します。SIGGRAPH 2025発表技術です。

DuetGen: Music Driven Two-Person Dance Generation via Hierarchical Masked Modeling

「DuetGen」は、音楽に合わせて二人のダンスを生成する最新のAIモデルです。パートナー同士が互いに連動しながら音楽に同期して動くダンスモーションを、二段階のトークン生成モデルによって出力します。高レベルなセマンティック情報と微細な動作を段階的にモデリングすることで、自然でリアルなダンスシーンを実現します。

• 多段階モーション生成：まずVQ‑VAEで二人のモーションを粗→詳細のトークンに変換し、さらに音楽から生成。
• 階層型マスク付きTransformer：2段階のTransformerで高・低レベルトークンを補完生成。音楽との対応や二人の動きの関係性を保ちながらモーションを生成する。
• 情報統合型設計：二人の動きを統一的に扱う設計で姿勢や相互作用を自然に再現。

ユーザー調査でもモーションのリアリティ性、音楽同期性、双方向の調和性で従来手法を上回る性能を実証しています

リンク