Disney Research Studiosによる単一の人物画像などから再ライティング可能な3DGSアバターを再構築する技術「RelightAnyone: A Generalized Relightable 3D Gaussian Head Model」の動画とプロジェクトページが公開されています！

RelightAnyone: A Generalized Relightable 3D Gaussian Head Model

3Dガウス・スプラッティング（3DGS）は、フォトリアリスティックな3Dヘッドアバターを再構築・レンダリングするための標準的な手法となっている。主要な課題の一つは、あらゆるシーンの照明に合わせてアバターの照明を再設定することです。高品質な再照明を実現するため、既存の手法では、被写体を「1灯ずつ照明（OLAT）」のような複雑な時分割照明下でキャプチャする必要があります。我々は、被写体のOLATデータを必要とせずに、単一または多視点画像で観測されたあらゆる被写体の照明を再設定できる、新しい汎用的な再照明可能な3Dガウス頭部モデルを提案します。我々の核心的なアイデアは、フラット照明下にある3DGSアバターから、そのアバターに対応する再照明可能なガウスパラメータへのマッピングを学習することである。本モデルは2つの段階から構成される。
第1段階ではOLAT照明を用いずにフラット照明下にある3DGSアバターをモデル化し、
第2段階では高品質な再照明を実現するための物理ベースの反射率パラメータへのマッピングを学習する。
この2段階の設計により、OLAT照明を使用しない多様な既存のマルチビューデータセットを用いて第1段階の学習を行うことが可能となり、被写体間の汎化が保証されます。ここでは、自己教師付き照明アライメントのために、データセット固有の照明コードを学習します。続いて、第2段階では、OLAT照明下で撮影された被写体の、はるかに小規模なデータセットを用いて学習を行うことができます。これらを組み合わせることで、本手法は優れた汎化性能を発揮し、第1段階で学習した任意の被写体を、あたかもOLAT照明下で撮影されたかのように再照明することが可能になります。さらに、たった1枚の画像からでも未見の被写体にモデルを適合させることができ、新規ビュー合成やデジタルアバターの再照明など、様々な応用が可能となります。

リンク