浙江大学、チューリッヒ工科大学、香港城市大学、マックス・プランク知能システム研究所、香港科技大学の学生グループらによる単眼ビデオから精巧なヘアーモデルを構築する技術「MonoHair:High-Fidelity Hair Modeling from a Monocular Video」の情報が公開！
MonoHair:High-Fidelity Hair Modeling from a Monocular Video
コンピュータグラフィックスにおけるリアリズム、芸術的表現、没入感を実現するために、高忠実度の3Dヘアが重要であることは間違いありません。既存の3Dヘアーモデリング手法は素晴らしい性能を達成しているが、高品質なヘアー再構成を実現するためには、厳しいキャプチャ条件が必要で実用化が困難であったり、学習された事前データに大きく依存し、画像の微細なディテールが不明瞭であったりするという課題が残っている。このような課題を解決するために、我々は単眼映像から高忠実な毛髪再構成を実現する汎用的なフレームワークを提案する。我々のアプローチは、毛髪のモデリングプロセスを、精密な外装の再構成と内部構造の推論という2つの主要な段階に二分する。外観は、我々のパッチベース・マルチビュー最適化（PMVO）を用いて綿密に作成されます。この方法は、複数のビューから毛髪情報を戦略的に収集・統合し、事前データに依存しない、忠実度の高い外装3Dラインマップを作成します。このマップは複雑なディテールを捉えるだけでなく、毛髪の内部構造の推測を容易にします。内部については、データ駆動型のマルチビュー3D毛髪再構成法を採用しています。この方法は、再構成された外見から得られた2D構造レンダリングを利用し、学習時に使用された合成2D入力をミラーリングする。このアラインメントにより、学習データと実世界データとの間の領域ギャップを効果的に埋めることができ、これにより、oの精度と信頼性が向上する。
この手のヘアー立体化技術は定期的に新しいものが登場しますね。ただこの技術はこれまで見たどれよりも精度が高そうに見えます。そろそろ実用化されてほしいなぁと思う今日このごろ。詳細はプロジェクトページをご確認ください！コードはまだ非公開みたいですね。
リンク
コメント