4D Humans: Reconstructing and Tracking Humans with Transformers - 単眼カメラ映像から人物の動きをトラッキング出来るICCV 2023発表新技術！コードも公開され使用可能！

ICCV 2023に合わせて発表された単眼カメラ映像から人物の動きをトラッキングする新技術「4D Humans: Reconstructing and Tracking Humans with Transformers」が注目を集めています。

4D Humans: Reconstructing and Tracking Humans with Transformers

我々は、野生のあらゆる映像が与えられた場合、その下にある人間を3Dで共同再構成し、経時的に追跡することができるアプローチを提示する。ここでは、左側に入力映像、右側に再構成された人間を、時間的な滑らかさなしで、色で経時的な追跡の同一性を示す。我々のアプローチは、視認性が悪く、極端な切り捨てや極端なオクルージョンの下でも、通常のポーズでも、通常とは異なるポーズでも、確実に動作する。

我々は、人間を再構成し、経時的に追跡するアプローチを提示する。本アプローチの核となるのは、人体メッシュ復元用ネットワークの完全「変形」バージョンを提案することである。このネットワーク、HMR 2.0は最先端の技術であり、これまで単一画像からの再構成が困難であった特異なポーズを解析する能力を示す。映像を解析するために、HMR 2.0からの3D再構成を、3Dで動作する追跡システムへの入力として使用する。これにより、複数の人物を扱うことができ、オクルージョンイベントを通してアイデンティティを維持することができる。我々の完全なアプローチである4DHumansは、単眼ビデオからの人物追跡において最先端の結果を達成している。さらに、HMR 2.0が行動認識という下流のタスクにおいて有効であることを実証し、これまでのポーズベースの行動認識アプローチと比較して大幅な改善を達成した。

お試し方法解説記事（日本語）

色々試されているPost

4D-humans test #mocap pic.twitter.com/ukJsslmo7Q

— toyxyz (@toyxyz3) August 10, 2023

🦒4D-Humans colab: https://t.co/dQvmIqhBmd pic.twitter.com/UI0BsQpfX9

— camenduru (@camenduru) August 6, 2023

4D-Humansは、単眼画像から人物の３Dモデルを推定する最新技術です。

ブログ：https://t.co/3upStcXTuU pic.twitter.com/bvLq44Y95J

— cedro (@jun40vn) August 9, 2023

4D-humans test #mocap pic.twitter.com/hSgdmwxWHy

— toyxyz (@toyxyz3) August 10, 2023

有志によるBlenderアドオンも登場

CEB 4D Humans 0.05
Made from: https://t.co/Bsf3R7GJbI
Blender addon available at: https://t.co/v57ZAmkWQr pic.twitter.com/Pb5EqWstEI

— Carlos Barreto (@carlosedubarret) August 9, 2023

CEB 4D Humans 0.05

Available at: https://t.co/v57ZAmkWQr
and at https://t.co/Yh3aD10uIm pic.twitter.com/e1m6bHIKqD

— Carlos Barreto (@carlosedubarret) August 8, 2023

リンク

Super proud of our 4D Humans work that will appear at #ICCV2023!

With a simple “transformerized” design, without bells and whistles, we achieve improved precision and remarkable robustness for 3D human reconstruction!

Code, demo and models are available: https://t.co/eTbIxjcDke https://t.co/EYGUvtX9qi pic.twitter.com/ziaTYNtgMK

— Georgios Pavlakos (@geopavlakos) July 19, 2023