3D Gaussian Splatting for Real-Time Radiance Field Rendering - 複数写真や映像から3Dシーンを構築する技術！NeRFよりも高品質と話題の新Radiance Fieldメソッド！SIGGRAPH 2023！

Inria、マックスプランク情報学研究所、ユニヴェルシテ・コート・ダジュールの研究者達による、NeRF(Neural Radiance Fields)とは異なる、Radiance Fieldの技術「3D Gaussian Splatting for Real-Time Radiance Field Rendering」が発表され話題を集めています。

3D Gaussian Splatting for Real-Time Radiance Field Rendering

ラディアンスフィールド法は近年、複数の写真やビデオで撮影されたシーンのノベルビュー合成に革命をもたらした。しかし、高いビジュアル品質を達成するためには、学習とレンダリングにコストのかかるニューラルネットワークが依然として必要である。孤立したオブジェクトではなく）境界のない完全なシーンを1080pの解像度でレンダリングする場合、現在の手法ではリアルタイムの表示レートを達成することはできない。我々は3つの重要な要素を導入することで、競争力のあるトレーニング時間を維持しながら最先端のビジュアル品質を達成し、1080p解像度で高品質なリアルタイム（>= 30fps）のノベルビュー合成を可能にする。第一に、カメラキャリブレーション時に生成される疎な点から出発し、シーンの最適化のために連続的な体積輝度場の望ましい特性を保持しつつ、空スペースでの不要な計算を回避する3Dガウシアンでシーンを表現する。第二に、3Dガウシアンのインターリーブ最適化／密度制御を行い、特にシーンの正確な表現を達成するために異方性共分散を最適化する。第三に、異方性スプラッティングをサポートし、トレーニングの高速化とリアルタイムレンダリングの両方を可能にする高速な視認性を考慮したレンダリングアルゴリズムを開発する。我々は、いくつかの確立されたデータセットにおいて、最先端の視覚的品質とリアルタイムレンダリングを実証する。

フィギュアを3D化しNeRFとの比較をしている動画

早速試されている方々

Rendering a gaussian splat video from the @nerfstudioteam viewer! This only took 2 minutes to render, which is about 20x faster than rendering the NeRF version.

Impasse Louise-Émilie de la Tour d´Auvergne, Paris captured with the @insta360 RS 1″.#NeRF #gaussiansplatting pic.twitter.com/pG0iZabiMR

— grade eterna (@gradeeterna) September 1, 2023

Finally got #gaussiansplatting working! I’m really impressed by how well it captured the fine details of the sneaker fabric and shoelaces, as well as the text. This was generated from 75 DSLR photos I shot on a 24mm lens, took about 30 minutes to process on an RTX 3090, and is… pic.twitter.com/NsKM5JbwDH

— CoffeeVectors (@CoffeeVectors) September 3, 2023

Finally tried a large scene with ‘3D Gaussian Splatting for Real-Time Radiance Field Rendering’ — Barbentane’s windmill, built in 1774. It’s looking sharp. The details in the distance are impressive.#gaussiansplatting #radiancefield #AI #ML pic.twitter.com/PNTCO9snrw

— Hugues Bruyère (@smallfly) August 27, 2023

gaussian-splattingをカスタムデータでやってみた！！
黒いもやが出てしまっているが，品質的にはNerfstudioよりも上な印象.
default値でやってるので，パラメータ調整すれば，よりよくなる気がする．#NeRF #gaussiansplatting #3DCG pic.twitter.com/1SLgzxeUru

— Aster@NeRFを広める人 (@Aster_NeRF) August 30, 2023

Greg — One of my favorite impromptu volumetric portrait from a few years back, captured on a motion capture stage. A blend of 3D Gaussian Splatting, NeRFStudio, Blender, photogrammetry, and Reality Capture.#gaussiansplatting #radiancefield #AI #ML #3D #VFX #photogrammetry pic.twitter.com/mUkISe9VOA

— Hugues Bruyère (@smallfly) September 3, 2023

導入解説（英語）

こりゃ次世代の自由視点映像だ。#GaussianSplatting

60fps出るからドローン映像かのような滑らかさ。
NeRFと比べかなり鮮明で軽快。

独自写真データでの生成手順､使い方もブログにまとめました！https://t.co/cscf2CyHkN pic.twitter.com/btV1Oj1XIl

— 龍 lilea (@lileaLab) September 4, 2023

ハードウェア要件

ハードウェア要件

• Compute Capability 7.0+のCUDA対応GPU
• 24 GBのVRAM（論文評価品質のトレーニング用）
  トレーニング回数を少なくすることで少ないVRMでも実行することは可能です。また完全なトレーニングルーチンを行いつつ少ないメモリで実行するには細かく設定する必要があるようです。どちらにしても最終品質に影響が出る可能性があるのでご注意ください。

リンク