１枚の顔写真からリアルタイム向けアバターモデルを生成する技術！SIGGRAPH Asia 2017 論文！

Avatar Digitization From a Single Image For Real-Time Rendering (SIGGRAPH Asia 2017)

単一の拘束されていない画像から完全な3Dヘッドに髪をデジタル化する完全自動フレームワークを提示します。当社のシステムは、ゲームやソーシャルVRアプリケーションにおけるアバター個別化のための実用的で消費者に優しいエンドツーエンドのソリューションを提供します。再構成されたモデルには、二次的な要素（目、歯、舌、ゴム）が含まれ、アニメーションに適したブレンドシェイプとジョイントベースのリグが用意されています。生成された顔は高品質のテクスチャ付きメッシュであるが、我々は多種多様かつ効率的な多角形のストリップ（ポリストリップ）表現を提案する。ポリストリップは、非常に幅広い髪型やテクスチャに適しており、リアルタイムレンダリングのための既存のゲームエンジンと互換性があります。顔形状モデリングと外観推論の最先端技術を統合するだけでなく、3Dモデルとテクスチャの検索、形状の修正、ポリストラップパッチの最適化に基づいた新しいシングルビューヘアジェネレーションパイプラインを提案します。我々のヘアスタイル検索の性能は、セマンティックヘア属性分類のための深い畳み込みニューラルネットワークを用いて強化される。生成されたモデルは、プロのアーティストが設計した最先端のゲームキャラクターと視覚的に匹敵します。リアルタイム設定では、従来のストランドベースの表現とは対照的に、ヘアスタイルの変動を処理するポリストリップの可用性を実証します。私たちはさらに、野生で撮影された多数の画像に対する我々のアプローチの有効性を示し、どのように魅力的なアバターを誰によって簡単に作成できるかを示します。

Google翻訳

若干デフォルメされたアバターモデルを生成！
髪の毛の再現度が素晴らしいですね。

ゲームなどで実装されると嬉しいなぁ…
顔作成機能のあるゲームでは、自分そっくりにアバターを作る派（私）の方々にかなり需要がありそうです。

関連リンク

• Hao Li – publications