Dynamic Global Illumination for InteractiveGaussian Splatting Scenes in Real Time | 3D Gaussian Splattingとポリゴンメッシュが混在したシーンで動的にGIをリアルタイム描画する研究技術！ソースコードも公開！

北京大学のChenxiao Hu氏らによる研究チームが、3D Gaussian Splatting（3DGS）とポリゴンメッシュが混在するシーンで、動的なグローバルイルミネーション（GI）をリアルタイムに描画する技術「Dynamic Global Illumination for Interactive Gaussian Splatting Scenes in Real Time」を発表しました。ライトやマテリアル、オブジェクトを編集しながら、間接光や反射をリアルタイムに反映できます。論文とソースコードが公開されています。

Dynamic Global Illumination for Interactive Gaussian Splatting Scenes in Real Time

本論文では、3Dガウスモデルと従来のメッシュの両方を含む、インタラクティブまたは動的なシーンにおけるグローバルイルミネーションを近似するためのリアルタイムパイプラインを提案する。3Dガウスモデル向けに定式化された表面光伝搬モデルを基盤とし、高速な複合確率的レイトレーシングアルゴリズムとハードウェアベースの3Dガウスラスタライザを用いて、主要な性能上の課題に対処するとともに、3Dガウスモデル向けの複数のRTGI（リアルタイムグローバルイルミネーション）手法を実装する。本パイプラインにより、編集可能なマテリアル、ライト、メッシュ、および3Dガウスモデルを備えたインタラクティブなシーンのリアルタイムレンダリングが可能となり、多回反射による拡散光および1回反射による光沢光の伝搬を効果的に再現する。本手法は、エリアライト、指向性ライト、環境光など、幅広い動的光源に対応しています。包括的な実験結果により、本手法が3DGSモデルおよびメッシュと3DGSを組み合わせたハイブリッドモデルの両方について、グローバルイルミネーションをリアルタイムで効率的にレンダリングできることが実証されています。本パイプラインは、リアルタイムグローバルイルミネーションにおける3Dガウシアンの可能性を浮き彫りにするとともに、パフォーマンス最適化に関する知見を提供します。

3DGSに対する高速なレイトレーシングとGPUのハードウェアラスタライズを組み合わせ、リアルタイムのGIを実現。
従来の3DGSでは難しかった動的な照明変更に対応し、3DGSと通常のポリゴンメッシュを組み合わせたシーンでも、相互の間接光や反射を描画できるのが特徴です。

• リアルタイムGI： 複数回の拡散反射や、1回の光沢反射を考慮したライティングに対応
• 3DGSとメッシュの混在： 異なる形式のオブジェクト間でも、間接光の影響を相互に反映
• 動的なライティング： エリアライト、ディレクショナルライト、環境光などに対応
• マテリアルの編集： アルベドやラフネスをリアルタイムに変更可能
• インタラクティブなシーン編集： オブジェクトやライトの移動、追加、削除などにも対応
• 事前計算不要： GIの事前ベイクを必要とせず、実行時にライティングを計算
• 高速な描画： RTX 3090を使用し、約157万個のGaussianを含む複合シーンを1920×1088解像度で平均43FPSで描画

ソースコードはGitHubで公開。
Windows環境でのビルドに対応。
※実行にはNVIDIA RTX 30シリーズ以降のGPUが必要です。

なお、リライティングにはPBRマテリアル情報を持つ3DGSデータが適しており、一般的な3DGSデータをそのまま読み込んでも良好な結果が得られるとは限りません。研究プロジェクトページでは、実際に照明やオブジェクトを編集するデモ映像や、従来手法との比較結果も公開されています。

リンク