AI 技術
- 技術-Technology

PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360° - 1枚の写真から3D頭部を構築出来る生成技術が登場！CVPR 2023論文！

投稿日 2023-06-26
更新日 2023-06-26
AI 技術技術-Technology
AI CVPR GANs PanoHead
0

この記事は約1分58秒で読めます

ウィスコンシン大学マディソン校、ByteDance社による、1枚の写真から3D頭部を構築する技術『PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°』が公開されました。

PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°

近年、コンピュータビジョンやコンピュータグラフィックスにおいて、3次元人体頭部の合成と再構成に対する関心が高まっている。既存の3D人間の頭部合成のための最先端の3D生成的敵対ネットワーク（GAN）は、近正面ビューに限定されるか、大きな視野角で3Dの一貫性を保持することが困難である。我々はPanoHeadを提案する。PanoHeadは、多様な外見と詳細な形状を持つ、360°全頭の高品質なビューコンシステント画像合成を可能にする、初の3D認識生成モデルである。その中核は、最近の3次元GANの表現力を引き上げ、広範囲に分散したビューを持つin-the-wild画像から学習する際のデータ整列ギャップを埋めることである。具体的には、ロバストな3次元GAN学習のための、新しい2段階の自己適応的画像アライメントを提案する。さらに、広く採用されている三平面の定式化に根ざした、正面と後頭部の特徴のもつれに効果的に対処する三格子神経ボリューム表現を導入する。本手法は、3Dニューラルシーン構造の敵対的学習に2D画像セグメンテーションの事前知識を組み込むことで、多様な背景における合成可能な頭部合成を可能にする。これらの設計の恩恵により、本手法は従来の3D GANを大幅に凌駕し、正確なジオメトリと多様なアピアランスを持つ高品質な3D頭部を生成する。さらに、本システムは、パーソナライズされたリアルな3Dアバターのために、単一の入力画像から完全な3D頭部を再構成できることを示す。