SplatGen | Blenderシーンから3D Gaussian Splatを生成！データセット作成から学習＆PLY・SOG出力まで対応するアドオン！

エジプトのインテリア・建築デザイナーShehab Mekky氏のJELLY FISH STUDIOから、Blenderシーンを3D Gaussian Splatへ変換できるアドオン「SplatGen」がリリースされました！

SplatGen

SplatGenは、JELLY FISH STUDIOとして活動するインテリア・建築デザイナーShehab Mekky氏によって開発された、Blenderシーンから3D Gaussian Splatting（3DGS）用データセットを生成できるBlenderアドオンです。
用意したBlenderシーンに複数のカメラを配置し、各視点からレンダリングした画像や深度情報などをもとに3DGS用データセットを構築できます。
上位版のSplatGen Proでは、NVIDIA CUDA GPUを使用したローカル環境でのSplat学習にも対応しており、Blenderから離れることなく学習結果の確認からPLY・SOG形式への出力まで行えます。

主なワークフロー

SplatGenでは、Blenderシーンから以下の流れでGaussian Splatを生成できます。

1. カメラを配置
   • ビューからカメラを追加
   • 面から複数のカメラを生成
   • 再利用可能なカメラリグにも対応
2. カメラカバレッジを確認
   • 各カメラからシーンをどの程度カバーできているかを検証
   • カバレッジを色分けして表示
3. データセットを構築
   • 各カメラからシーンをレンダリング
   • RGB画像
   • Mask
   • Metric Depth
   • Surface Normal
   • Point Cloud
   • COLMAP形式のデータなどを生成
4. Gaussian Splatを学習（Pro）
   • CUDAを使用してBlender内からローカル学習
   • プリセット
   • ライブプレビュー
   • Checkpoint
   • Pause / Recoveryなどに対応
5. Blender上で結果を確認（Pro）
   • 学習済みGaussian Splatをリアルタイム表示
   • Gaussian / Rings / Centers表示に対応
6. PLY / SOG形式で出力（Pro）
   • 一般的なGaussian Splat PLY
   • SuperSplat互換のSOG形式で出力可能

出力したデータはSuperSplatなどへ持ち込み、編集・最適化・Web上での表示などに利用できます。

Blenderのレンダリング結果から3DGSを構築

SplatGenでは単純なGeometry Ray Castだけではなく、レンダリングされたRGBとMetric Depthを利用して3Dポイントを構築します。
各ピクセルの色と深度、カメラ位置から3D空間上の位置を求めることで、レンダリング上に現れる細かなシルエットなどもデータへ反映できる仕組みになっています。
公式では、HairやParticle、Evaluated Effectなど、Geometryのみを対象としたRay Castでは拾いにくい要素についても、レンダリングされたDepth Passを利用する利点が説明されています。

StandardとPro

SplatGen Standardでは、カメラの作成やカバレッジ確認、RGB・Depth・Mask・Point Cloudなどを含む3DGS学習用データセットの構築が可能です。SplatGen ProではStandardの機能に加えて、

• NVIDIA CUDA GPUを使用したローカルSplat学習
• 学習中のプレビュー
• Preset / Checkpoint / Pause / Recovery
• Blender内のSplat Viewer
• PLY出力
• SuperSplat互換SOG出力

などを利用できます。
Standardで作成したデータセットを外部の学習ツールへ渡すことも可能です。

動作環境

公式ドキュメントのSplatGen 5.2では、以下の環境が案内されています。

• Windows 10 / 11 64bit
• SplatGen Pro 5.2：Blender 5.2
• Proでの学習：NVIDIA CUDA対応GPU
• VRAM 6GB以上
• VRAM 8～12GB以上を推奨
• 8GB以上の空きストレージ
• Pro Runtimeの利用にはインターネット接続が必要

データセットの構築自体にはCUDAは必要ありません。

作者はインテリア・建築デザイナー

開発者のShehab Mekky氏は、エジプトのNew Cairoを拠点にJELLY FISH STUDIOとして活動するインテリア・建築系デザイナーです。
Behanceでは「Interior Design, Architecture, Landscape Design」を専門分野として掲げており、Blenderや3ds Maxなどを使用したインテリア・建築ビジュアライゼーション作品を多数公開しています。

価格

• Standard：$1
  公式サイトでは無料版として案内されているが違うぽい？セール価格は$0.33でした
• Pro：$25
  Proはリリース時の数量限定価格$8も設定されています

Blenderから3DGSを生成できる関連ツール

Blenderシーンから3DGSを生成したり、学習用データセットを作成したりするツールはSplatGen以外にもいくつか存在します。

• 3DGS Render by KIRI Engine
  Blender上で3D Gaussian Splatの読み込み・編集・レンダリングができるアドオン。v3.0からMeshを3DGSへ変換する機能にも対応。
  Meshの頂点・表面情報をもとに直接3DGSへ変換する機能にも対応しており、
  多視点レンダリングから学習するSplatGenとは異なる方式で3DGS化できます。
• Splatman
  BlenderシーンからGaussian SplattingやNeRF向けの多視点画像やカメラ情報などを生成できるアドオン。
• Camera Array Tool
  Blenderシーンに多数のカメラを配置して多視点画像を生成。Postshotなどを利用した3DGS生成用の素材作成に活用できます。
• Splats
  BlenderシーンからGaussian Splatting向けのMulti-view Training Dataを生成できる無料アドオン。
• Gaussian Splat Generator
  BlenderシーンからCOLMAP形式のデータセットを生成し、LichtFeld Studioを利用したGaussian Splat生成までを支援するオープンソースアドオン。

リンク