華中科技大学やHuaweiの研究者らによる、動的な3Dガウス・スプラッティングシーンの学習と軽量にリアルタイム再生する技術『4D Gaussian Splatting for Real-Time Dynamic Scene Rendering』
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
4D-GSは、20分以内にダイナミックなシーンを学習し、1つのRTX 3080 GPUで50fps以上のビューのレンダリング速度に到達することができます。
動的なシーンの表現とレンダリングは、重要ではあるが困難な課題である。特に、複雑な動きを正確にモデル化するためには、通常、高い効率を維持することは困難である。我々は、高い学習効率と保存効率を享受しつつ、リアルタイムの動的シーンレンダリングを実現するために、4Dガウススプラッティング（4D-GS）を導入する。ガウス運動と形状変形の両方をモデル化するために、効率的な変形場を構築する。より正確な位置と形状の変形を生成するために、隣接する異なるガウシアンをHexPlaneを介して接続する。我々の4D-GS法は、RTX 3090 GPU上で、800*800の解像度で70FPSという、高解像度下でのリアルタイムレンダリングを達成し、同時に、従来の最先端手法と同等以上の品質を維持している。4D-GSは、20分以内にダイナミックなシーンを学習し、1つのRTX 3080 GPUで50fps以上のビューのレンダリング速度に到達することができます。
RTX 3090 GPU上で、800*800の解像度で70FPS動作とのこと。
この手の技術は今後もどんどん発展していきそうですよね。撮影後あとでカメラアングルを変更するのも簡単になる時代はもうすぐやってくるのかな。
リンク
コメント