4K4D: Real-Time 4D View Synthesis at 4K Resolution - 動的3Dシーンを4K解像度でサクサクリアルタイム描画出来る技術が登場！

Zhejiang University、Image Derivative Inc.、Ant Groupらによる、動的3Dシーンを4K解像度でリアルタイム描画出来る技術『4K4D』が登場。

4K4D: Real-Time 4D View Synthesis at 4K Resolution

本論文では、4K解像度の動的3Dシーンの高忠実度かつリアルタイムなビュー合成を対象とする。近年、動的ビュー合成に関するいくつかの手法は、印象的なレンダリング品質を示している。しかし、高解像度の画像をレンダリングする場合、その速度にはまだ限界がある。この問題を克服するために、我々は、ハードウェアラスタライゼーションをサポートし、これまでにないレンダリング速度を可能にする4次元点群表現である4K4Dを提案する。我々の表現は4次元特徴グリッド上に構築されているため、点は自然に正則化され、ロバストに最適化することができる。さらに、効率を維持しながらレンダリング品質を大幅に向上させる、新しいハイブリッド・アピアランス・モデルを設計する。さらに、RGB動画から提案モデルを効果的に学習するために、微分可能な深度ピーリングアルゴリズムを開発する。実験によれば、我々の表現は、RTX 4090 GPUを用いて、1080p解像度のDNA-Renderingデータセットにおいて400 FPS以上、4K解像度のENeRF-Outdoorデータセットにおいて80 FPSでレンダリング可能であり、これは従来の手法よりも30倍高速であり、最先端のレンダリング品質を達成する。

リンク