Decaf: Monocular Deformation Capture for Face and Hand Interactions - 単眼カメラ映像から顔や手の動きのキャプチャ時に手と顔の接触による形状変形を実現！SIGGRAPH ASIA 2023技術論文！

マックスプランク情報学研究所のSoshi Shimada氏、Vladislav Golyanik氏、Christian Theobalt氏、Video.aiのPatrick Pérez氏らによる、単眼カメラからのモーキャプの際に手と顔の相互作用による変形を実現するSIGGRAPH ASIA 2023技術論文「Decaf: Monocular Deformation Capture for Face and Hand Interactions」のご紹介。

Decaf: Monocular Deformation Capture for Face and Hand Interactions

我々は、3次元の手と顔の動きと、それらの相互作用から生じる変形を回帰する、映像からの初めての単眼モーションキャプチャ手法を紹介する。我々は、アクティブなインタラクション中に顔の非剛体変形を誘発する関節オブジェクトとして手をモデル化する。本手法は、マーカーレスマルチビューカメラシステムで取得された、現実的な顔の変形を伴う新しい手と顔のモーションとインタラクションキャプチャデータセットに依存する。その作成における重要なステップとして、位置ベースのダイナミクスと頭部組織の不均一な剛性推定のためのアプローチを用いて再構成された生の3D形状を処理し、その結果、表面変形、手と顔の接触領域、および頭と手の位置のもっともらしい注釈が得られる。私たちのニューラル・アプローチの中核をなすのは、手の顔の奥行き事前分布を供給する変分オートエンコーダと、接触と変形を推定することで3Dトラッキングをガイドするモジュールです。我々の最終的な3D手と顔の再構成は、定量的にも定性的にも、我々の設定に適用可能ないくつかのベースラインと比較して、現実的でより妥当である。

リンク