ディープラーニングを活用し、1枚の画像から3Dヘアーを生成する為の技術「3D Hair Synthesis Using Volumetric Variational Autoencoders」SIGGRAPH Asia 2018論文です。

3D Hair Synthesis Using Volumetric Variational Autoencoders (SIGGRAPH Asia 2018)

最近のシングルビュー3Dヘアデジタイゼーションの進歩により、高品質のCGキャラクターを拡張してエンドユーザがアクセスできるようになり、パーソナライズされたVRやゲーム体験の新しい形態が可能になりました。複雑で多様な髪の構造を扱うために、ほとんどの最先端技術は、包括的な髪データベースから特定の髪モデルを首尾よく取り出すことに頼っている。前述のデータ駆動方式は大量の記憶を必要とするだけでなく、制約の厳しい入力画像、複雑な髪型、失敗した顔検出にも失敗する傾向があります。 3Dヘア・モデルの大規模なコレクションを直接使用する代わりに、ボリュメトリック・バリアント自動エンコーダー（VAE）のコンパクトな潜在空間を通じて暗黙的に3Dヘアスタイルの多様体を表現することを提案します。この深いニューラルネットワークは、3Dヘアモデルのボリューム方向のフィールド表現で訓練され、圧縮されたコードから新しいヘアスタイルを合成することができます。エンドツーエンドのヘアヘアを可能にするために、任意の入力画像からVAE潜在空間内のコードを予測する追加の埋め込みネットワークを訓練します。次いで、予測された容積表現からストランドレベルのヘアスタイルを生成することができる。私たちの完全自動フレームワークは、特別な顔のフィッティング、中間分類とセグメンテーション、またはヘアスタイルデータベースの検索を必要としません。私たちの髪の合成手法は、低解像度、露出オーバー、または極端な頭のポーズを含む写真を含む、挑戦的な入力を伴う最先端のデータ駆動型髪型モデリング技術よりもはるかに堅牢で、髪型の幅広いバリエーションを扱うことができます。記憶要件は最小限であり、3Dヘアモデルは1秒間に画像から生成することができます。私たちの評価はまた、高度に定型化された漫画画像、非人物被写体、および人物の背後から撮影された画像から成功した再構成が可能であることを示す。我々のアプローチは、非常に異なる髪型の間で継続的かつもっともらしい髪補間に特に適している。

これくらい自然なモデルがサクッと出来るようになったらかなり作業が捗りそうですね。

参考リンク

3D Hair Synthesis Using Volumetric Variational Autoencoders | Linjie Luo