写真を参考にストランドベースの3Dヘアモデルへリアルタイム着彩する技術！「Real-Time Hair Rendering using Sequential Adversarial Networks」ECCV 2018論文

Real-Time Hair Rendering using Sequential Adversarial Networks (ECCV 2018)

従来のコンピュータグラフィックススパイプレーンの代わりに、写真的な髪を表現するための敵対的なネットワークを紹介します。私たちの深い学習アプローチは、低レベルのパラメータチューニングやアドホックアセット設計を必要としません。我々の方法は、ストランドベースの3Dヘアモデルを入力として受け入れ、参照画像を介して直感的に色および照明を制御する。髪型の多様性とその外観の複雑さに対処するために、髪の構造、色、照明の特性を解決するために逐次GANアーキテクチャと半監督訓練アプローチを使用します。また、元の入力データの髪の構造を維持しながら、CGから写真実現への移行を確実にするために、方向フィールド変換ステップに中間フィールド活性化マップを導入する。ネットワークを通るフィードフォワード経路だけが必要なので、レンダリングはリアルタイムで実行される。幅広い複雑な髪型でフォトリアリスティックなヘアイメージを合成し、最先端のヘアレンダリング手法と比較します。

オブジェクトが回転するとチカチカ明滅するので、動画コンテンツには難あり？
静止画ベースなら現時点でも使えそうな技術ですね。

関連リンク

18_ECCV_HairRenderNet.pdf
Hao Li – publications
Cosimo’s Site