ウィスコンシン大学マディソン校、ByteDance社による、1枚の写真から3D頭部を構築する技術『PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°』が公開されました。

PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°

近年、コンピュータビジョンやコンピュータグラフィックスにおいて、3次元人体頭部の合成と再構成に対する関心が高まっている。既存の3D人間の頭部合成のための最先端の3D生成的敵対ネットワーク（GAN）は、近正面ビューに限定されるか、大きな視野角で3Dの一貫性を保持することが困難である。我々はPanoHeadを提案する。PanoHeadは、多様な外見と詳細な形状を持つ、360°全頭の高品質なビューコンシステント画像合成を可能にする、初の3D認識生成モデルである。その中核は、最近の3次元GANの表現力を引き上げ、広範囲に分散したビューを持つin-the-wild画像から学習する際のデータ整列ギャップを埋めることである。具体的には、ロバストな3次元GAN学習のための、新しい2段階の自己適応的画像アライメントを提案する。さらに、広く採用されている三平面の定式化に根ざした、正面と後頭部の特徴のもつれに効果的に対処する三格子神経ボリューム表現を導入する。本手法は、3Dニューラルシーン構造の敵対的学習に2D画像セグメンテーションの事前知識を組み込むことで、多様な背景における合成可能な頭部合成を可能にする。これらの設計の恩恵により、本手法は従来の3D GANを大幅に凌駕し、正確なジオメトリと多様なアピアランスを持つ高品質な3D頭部を生成する。さらに、本システムは、パーソナライズされたリアルな3Dアバターのために、単一の入力画像から完全な3D頭部を再構成できることを示す。

解説動画

3D出力例

その他Tweet

PanoHead: Synthesis and reconstruction of 3D human heads from a single image pic.twitter.com/Z4c0aOwBOU

— AI Insight (@ai_insight1) June 23, 2023

StableDiffusionで出力した画をPanoHeadに食わせるのできました！https://t.co/j4IEEixF4B pic.twitter.com/IXOaReG9PU

— Artoid XYZ (@Artoid_XYZ) June 25, 2023

リンク