ICCV 2023に合わせて発表された単眼カメラ映像から人物の動きをトラッキングする新技術「4D Humans: Reconstructing and Tracking Humans with Transformers」が注目を集めています。
コンテンツ
4D Humans: Reconstructing and Tracking Humans with Transformers
我々は、野生のあらゆる映像が与えられた場合、その下にある人間を3Dで共同再構成し、経時的に追跡することができるアプローチを提示する。ここでは、左側に入力映像、右側に再構成された人間を、時間的な滑らかさなしで、色で経時的な追跡の同一性を示す。我々のアプローチは、視認性が悪く、極端な切り捨てや極端なオクルージョンの下でも、通常のポーズでも、通常とは異なるポーズでも、確実に動作する。
我々は、人間を再構成し、経時的に追跡するアプローチを提示する。本アプローチの核となるのは、人体メッシュ復元用ネットワークの完全「変形」バージョンを提案することである。このネットワーク、HMR 2.0は最先端の技術であり、これまで単一画像からの再構成が困難であった特異なポーズを解析する能力を示す。映像を解析するために、HMR 2.0からの3D再構成を、3Dで動作する追跡システムへの入力として使用する。これにより、複数の人物を扱うことができ、オクルージョンイベントを通してアイデンティティを維持することができる。我々の完全なアプローチである4DHumansは、単眼ビデオからの人物追跡において最先端の結果を達成している。さらに、HMR 2.0が行動認識という下流のタスクにおいて有効であることを実証し、これまでのポーズベースの行動認識アプローチと比較して大幅な改善を達成した。
お試し方法解説記事（日本語）
とりあえず試したい方はこの辺の投稿をチェックしてみると良さそうです。
色々試されているPost
コードも公開されているので
早速Xのタイムライン上では4D-Humansをお試しする投稿が確認できました
4D-humans test #mocap pic.twitter.com/ukJsslmo7Q
— toyxyz (@toyxyz3) August 10, 2023
🦒4D-Humans colab: https://t.co/dQvmIqhBmd pic.twitter.com/UI0BsQpfX9
— camenduru (@camenduru) August 6, 2023
4D-Humansは、単眼画像から人物の３Dモデルを推定する最新技術です。
— cedro (@jun40vn) August 9, 2023
ブログ：https://t.co/3upStcXTuU pic.twitter.com/bvLq44Y95J
4D-humans test #mocap pic.twitter.com/hSgdmwxWHy
— toyxyz (@toyxyz3) August 10, 2023
有志によるBlenderアドオンも登場
AI技術をすぐにBlenderアドオン化する事でもお馴染みCarlos Barreto氏が
早速「CEB 4D Humans」アドオンを開発しています
CEB 4D Humans 0.05
— Carlos Barreto (@carlosedubarret) August 9, 2023
Made from: https://t.co/Bsf3R7GJbI
Blender addon available at: https://t.co/v57ZAmkWQr pic.twitter.com/Pb5EqWstEI
CEB 4D Humans 0.05
— Carlos Barreto (@carlosedubarret) August 8, 2023
Available at: https://t.co/v57ZAmkWQr
and at https://t.co/Yh3aD10uIm pic.twitter.com/e1m6bHIKqD
Blender上で完結するのは良さそうですね
このアドオンはPatreonサポートユーザーに公開しております
今後もどんどんこの技術を採用したツールが増えると良いなぁ。
そして過去のアーカイブ動画が色々活用されたコンテンツも登場しそうで楽しみですね。
是非公式ページをチェックしてみてください！
リンク
Super proud of our 4D Humans work that will appear at #ICCV2023!
— Georgios Pavlakos (@geopavlakos) July 19, 2023
With a simple “transformerized” design, without bells and whistles, we achieve improved precision and remarkable robustness for 3D human reconstruction!
Code, demo and models are available: https://t.co/eTbIxjcDke https://t.co/EYGUvtX9qi pic.twitter.com/ziaTYNtgMK
コメント