WHAM：Reconstructing World-grounded Humans with Accurate 3D Motion - 単眼ビデオからグローバル座標系で3D人間のモーションを正確かつ効率的に再構成する技術！

カーネギーメロン大学やマックス・プランク知能システム研究所らの研究者による『WHAM:Reconstructing World-grounded Humans with Accurate 3D Motion』という技術に注目が集まっています。動画から人物のモーションを構築する技術です。

WHAM：Reconstructing World-grounded Humans with Accurate 3D Motion

映像からの人間の3D動きの推定は急速に進歩しているが、現在の手法にはまだいくつかの重要な限界がある。第一に、ほとんどの手法はカメラ座標で人物を推定している。第二に、グローバル座標で人物を推定する先行研究は、多くの場合、平坦な接地面を仮定しており、足の滑りが生じる。第三に、最も精度の高い手法は、計算コストの高い最適化パイプラインに依存しているため、オフラインアプリケーションへの使用が制限される。最後に、既存のビデオベースの手法は、シングルフレームの手法に比べて驚くほど精度が低い。我々はこれらの限界にWHAM (World-grounded Humans with Accurate Motion)で対処する。WHAMはビデオからグローバル座標系で3D人間の動きを正確かつ効率的に再構成する。WHAMはモーションキャプチャデータを用いて2Dキーポイントシーケンスを3Dに持ち上げることを学習し、これをビデオの特徴と融合させ、動きのコンテキストと視覚情報を統合する。WHAMは、SLAM手法から推定されたカメラの角速度を人間の動きと共に利用し、身体のグローバル軌道を推定する。WHAMが階段昇降のような多様な条件下で人間の動きを捉えることができるように、接触に配慮した軌道精密化手法とこれを組み合わせる。WHAMは、複数の実環境ベンチマークにおいて、既存のすべての3D人体運動復元手法を凌駕しています。コードは研究目的で利用可能 。

リンク