エジプトのインテリア・建築デザイナーShehab Mekky氏のJELLY FISH STUDIOから、Blenderシーンを3D Gaussian Splatへ変換できるアドオン「SplatGen」がリリースされました！
SplatGen
SplatGenは、JELLY FISH STUDIOとして活動するインテリア・建築デザイナーShehab Mekky氏によって開発された、Blenderシーンから3D Gaussian Splatting（3DGS）用データセットを生成できるBlenderアドオンです。
用意したBlenderシーンに複数のカメラを配置し、各視点からレンダリングした画像や深度情報などをもとに3DGS用データセットを構築できます。
上位版のSplatGen Proでは、NVIDIA CUDA GPUを使用したローカル環境でのSplat学習にも対応しており、Blenderから離れることなく学習結果の確認からPLY・SOG形式への出力まで行えます。
主なワークフロー
SplatGenでは、Blenderシーンから以下の流れでGaussian Splatを生成できます。
- カメラを配置
- ビューからカメラを追加
- 面から複数のカメラを生成
- 再利用可能なカメラリグにも対応
- カメラカバレッジを確認
- 各カメラからシーンをどの程度カバーできているかを検証
- カバレッジを色分けして表示
- データセットを構築
- 各カメラからシーンをレンダリング
- RGB画像
- Mask
- Metric Depth
- Surface Normal
- Point Cloud
- COLMAP形式のデータなどを生成
- Gaussian Splatを学習（Pro）
- CUDAを使用してBlender内からローカル学習
- プリセット
- ライブプレビュー
- Checkpoint
- Pause / Recoveryなどに対応
- Blender上で結果を確認（Pro）
- 学習済みGaussian Splatをリアルタイム表示
- Gaussian / Rings / Centers表示に対応
- PLY / SOG形式で出力（Pro）
- 一般的なGaussian Splat PLY
- SuperSplat互換のSOG形式で出力可能
出力したデータはSuperSplatなどへ持ち込み、編集・最適化・Web上での表示などに利用できます。
Blenderのレンダリング結果から3DGSを構築
SplatGenでは単純なGeometry Ray Castだけではなく、レンダリングされたRGBとMetric Depthを利用して3Dポイントを構築します。
各ピクセルの色と深度、カメラ位置から3D空間上の位置を求めることで、レンダリング上に現れる細かなシルエットなどもデータへ反映できる仕組みになっています。
公式では、HairやParticle、Evaluated Effectなど、Geometryのみを対象としたRay Castでは拾いにくい要素についても、レンダリングされたDepth Passを利用する利点が説明されています。
StandardとPro
SplatGen Standardでは、カメラの作成やカバレッジ確認、RGB・Depth・Mask・Point Cloudなどを含む3DGS学習用データセットの構築が可能です。SplatGen ProではStandardの機能に加えて、
- NVIDIA CUDA GPUを使用したローカルSplat学習
- 学習中のプレビュー
- Preset / Checkpoint / Pause / Recovery
- Blender内のSplat Viewer
- PLY出力
- SuperSplat互換SOG出力
などを利用できます。
Standardで作成したデータセットを外部の学習ツールへ渡すことも可能です。
動作環境
公式ドキュメントのSplatGen 5.2では、以下の環境が案内されています。
- Windows 10 / 11 64bit
- SplatGen Pro 5.2：Blender 5.2
- Proでの学習：NVIDIA CUDA対応GPU
- VRAM 6GB以上
- VRAM 8～12GB以上を推奨
- 8GB以上の空きストレージ
- Pro Runtimeの利用にはインターネット接続が必要
データセットの構築自体にはCUDAは必要ありません。
作者はインテリア・建築デザイナー
開発者のShehab Mekky氏は、エジプトのNew Cairoを拠点にJELLY FISH STUDIOとして活動するインテリア・建築系デザイナーです。
Behanceでは「Interior Design, Architecture, Landscape Design」を専門分野として掲げており、Blenderや3ds Maxなどを使用したインテリア・建築ビジュアライゼーション作品を多数公開しています。
価格
- Standard：$1（公式サイトでは無料版として案内されているが違うぽい？セール価格は$0.33でした）
- Pro：$25（Proはリリース時の数量限定価格$8も設定されています）
Blenderで完成させたシーンを別のリアルタイム環境へ持っていこうとするアプローチとして
今後こういうフローは増えていきそう
ちなみにBlenderから3DGS化するアプローチは結構前からあって…
Blenderから3DGSを生成できる関連ツール
Blenderシーンから3DGSを生成したり、学習用データセットを作成したりするツールはSplatGen以外にもいくつか存在します。
- 3DGS Render by KIRI Engine
Blender上で3D Gaussian Splatの読み込み・編集・レンダリングができるアドオン。v3.0からMeshを3DGSへ変換する機能にも対応。
Meshの頂点・表面情報をもとに直接3DGSへ変換する機能にも対応しており、多視点レンダリングから学習するSplatGenとは異なる方式で3DGS化できます。 - Splatman
BlenderシーンからGaussian SplattingやNeRF向けの多視点画像やカメラ情報などを生成できるアドオン。 - Camera Array Tool
Blenderシーンに多数のカメラを配置して多視点画像を生成。Postshotなどを利用した3DGS生成用の素材作成に活用できます。 - Splats
BlenderシーンからGaussian Splatting向けのMulti-view Training Dataを生成できる無料アドオン。 - Gaussian Splat Generator
BlenderシーンからCOLMAP形式のデータセットを生成し、LichtFeld Studioを利用したGaussian Splat生成までを支援するオープンソースアドオン。
これらのようにBlenderシーンを3DGS化する手法はいくつか登場していますが
SplatGen Proはデータセット生成からCUDAを利用した学習
Blender上での確認PLY・SOG出力までをまとめて扱えるのが特徴です
開発者がインテリアデザイナーさんで
過去にはClaudeを使って Blenderアドオンを修正したことも公言しているので
SplatGenの開発にもAIコーディングが使われているのか気になるところですね！
こういう「アーティスト自身が欲しいツールをAIを使いながら作る」流れも
今後さらに増えていきそう
「SplatGen」はSuperhiveにて販売中です！是非チェックしてみてください！
リンク
コメント