Inria、マックスプランク情報学研究所、ユニヴェルシテ・コート・ダジュールの研究者達による、NeRF(Neural Radiance Fields)とは異なる、Radiance Fieldの技術「3D Gaussian Splatting for Real-Time Radiance Field Rendering」が発表され話題を集めています。
3D Gaussian Splatting for Real-Time Radiance Field Rendering
ラディアンスフィールド法は近年、複数の写真やビデオで撮影されたシーンのノベルビュー合成に革命をもたらした。しかし、高いビジュアル品質を達成するためには、学習とレンダリングにコストのかかるニューラルネットワークが依然として必要である。孤立したオブジェクトではなく）境界のない完全なシーンを1080pの解像度でレンダリングする場合、現在の手法ではリアルタイムの表示レートを達成することはできない。我々は3つの重要な要素を導入することで、競争力のあるトレーニング時間を維持しながら最先端のビジュアル品質を達成し、1080p解像度で高品質なリアルタイム（>= 30fps）のノベルビュー合成を可能にする。第一に、カメラキャリブレーション時に生成される疎な点から出発し、シーンの最適化のために連続的な体積輝度場の望ましい特性を保持しつつ、空スペースでの不要な計算を回避する3Dガウシアンでシーンを表現する。第二に、3Dガウシアンのインターリーブ最適化／密度制御を行い、特にシーンの正確な表現を達成するために異方性共分散を最適化する。第三に、異方性スプラッティングをサポートし、トレーニングの高速化とリアルタイムレンダリングの両方を可能にする高速な視認性を考慮したレンダリングアルゴリズムを開発する。我々は、いくつかの確立されたデータセットにおいて、最先端の視覚的品質とリアルタイムレンダリングを実証する。
フィギュアを3D化しNeRFとの比較をしている動画
早速試されている方々
Rendering a gaussian splat video from the @nerfstudioteam viewer! This only took 2 minutes to render, which is about 20x faster than rendering the NeRF version.
— grade eterna (@gradeeterna) September 1, 2023
Impasse Louise-Émilie de la Tour d´Auvergne, Paris captured with the @insta360 RS 1″.#NeRF #gaussiansplatting pic.twitter.com/pG0iZabiMR
Finally got #gaussiansplatting working! I’m really impressed by how well it captured the fine details of the sneaker fabric and shoelaces, as well as the text. This was generated from 75 DSLR photos I shot on a 24mm lens, took about 30 minutes to process on an RTX 3090, and is… pic.twitter.com/NsKM5JbwDH
— CoffeeVectors (@CoffeeVectors) September 3, 2023
Finally tried a large scene with ‘3D Gaussian Splatting for Real-Time Radiance Field Rendering’ — Barbentane’s windmill, built in 1774. It’s looking sharp. The details in the distance are impressive.#gaussiansplatting #radiancefield #AI #ML pic.twitter.com/PNTCO9snrw
— Hugues Bruyère (@smallfly) August 27, 2023
gaussian-splattingをカスタムデータでやってみた！！
— Aster@NeRFを広める人 (@Aster_NeRF) August 30, 2023
黒いもやが出てしまっているが，品質的にはNerfstudioよりも上な印象.
default値でやってるので，パラメータ調整すれば，よりよくなる気がする．#NeRF #gaussiansplatting #3DCG pic.twitter.com/1SLgzxeUru
Greg — One of my favorite impromptu volumetric portrait from a few years back, captured on a motion capture stage. A blend of 3D Gaussian Splatting, NeRFStudio, Blender, photogrammetry, and Reality Capture.#gaussiansplatting #radiancefield #AI #ML #3D #VFX #photogrammetry pic.twitter.com/mUkISe9VOA
— Hugues Bruyère (@smallfly) September 3, 2023
導入解説（英語）
これは面白そうだ。
ホロラボ 空間情報技術部の藤原龍氏が日本語での環境構築解説記事をブログにて公開されております。
試してみたい方は是非そちらも合わせてチェックしてみてください。
こりゃ次世代の自由視点映像だ。#GaussianSplatting
— 龍 lilea (@lileaLab) September 4, 2023
60fps出るからドローン映像かのような滑らかさ。
NeRFと比べかなり鮮明で軽快。
独自写真データでの生成手順､使い方もブログにまとめました！https://t.co/cscf2CyHkN pic.twitter.com/btV1Oj1XIl
ハードウェア要件
ハードウェア要件
- Compute Capability 7.0+のCUDA対応GPU
- 24 GBのVRAM（論文評価品質のトレーニング用）
トレーニング回数を少なくすることで少ないVRMでも実行することは可能です。また完全なトレーニングルーチンを行いつつ少ないメモリで実行するには細かく設定する必要があるようです。どちらにしても最終品質に影響が出る可能性があるのでご注意ください。
GPUのVRM要件が中々大きいです・・今後の取組で必要メモリが減ることを祈ります。
リンク
コメント