リアルタイムでの動的な人物の写実的なレンダリングのためのAnimatable Gaussian Splattingを実現する技術『ASH』のプロジェクトページが公開されています！CVPR 2024向け技術論文！

ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering. In CVPR, 2024

論文の概要

最先端のニューラル暗黙のレンダリング技術により、デジタルアバターの前例のない写実性が実現されています。しかし、リアルタイムのパフォーマンスは主に静止したシーンに限定されていました。これに対処するために、私たちはASHを提案します。これは、リアルタイムでの動的な人物の写実的なレンダリングのためのAnimatable Gaussian Splattingアプローチです。私たちは、服を着た人間をアニメータブルな3DGaussianSplattingでパラメーター化し、これを画像空間に効率的にスプラッティングして最終的なレンダリングを生成します。しかし、3D空間でガウス分布のパラメーターを単純に学習することは計算上の課題があります。その代わりに、ガウス分布を変形可能なキャラクターモデルに取り付け、そのパラメーターを2Dテクスチャ空間で学習します。これにより、必要なガウス分布の数に応じて簡単にスケーリングできる効率的な2D畳み込みアーキテクチャを利用できます。私たちは、姿勢制御可能なアバターでASHを競合する方法と比較し、私たちの方法が既存のリアルタイム方法よりも大幅に優れており、オフラインの方法と比較しても同等以上の結果を示すことをベンチマークテストしました。

参考文献

Haokai Pang, Heming Zhu, Adam Kortylewski, Christian Theobalt, Marc Habermann.

リンク