Sparc3D（Sparse Representation and Construction for High-Resolution 3D Shapes Modeling） - １枚の画像から超高精細な破綻の少ない3Dモデルを生成する技術！

ナンヤン工科大学、Math Magic、インペリアル・カレッジ・ロンドンの研究者らによる、１枚の画像から超高精細な破綻の少ない3Dモデルを生成する技術『Sparc3D（Sparse Representation and Construction for High-Resolution 3D Shapes Modeling）』が公開されました！

Sparc3D（Sparse Representation and Construction for High-Resolution 3D Shapes Modeling）

高精度な3Dオブジェクト生成は、2D画像生成に比べて依然として大きな課題です。これはメッシュデータが非構造的であったり、高密度なボリュームグリッドが立方体的な計算コストを伴うためです。

従来の2段階のパイプライン（VAEでメッシュを圧縮し、その潜在空間から拡散モデルで生成）は、表現の非効率さやVAE内でのモダリティのズレにより、細部の欠落が起こりやすいという課題がありました。

Sparc3Dは、この問題に対処するために開発された統合フレームワークで、変形可能なスパース・マーチングキューブ表現「Sparcubes」と、スパース畳み込みベースのVAE「Sparconv-VAE」を組み合わせています。

Sparcubesは、サインド距離場と変形情報をスパースな立方体に散布することで、任意のトポロジーを持つ高解像度（1024³）のサーフェスに変換可能。これにより、微細な形状も保存しつつ、差分可能な最適化が行えます。

Sparconv-VAEは、全体をスパース畳み込みネットワークで構築された初のVAEであり、高効率かつロスレスに近い再構成を可能とします。これにより、拡散モデルとの統合がスムーズに行えるようになり、スケーラブルで高解像な3D生成が可能になります。

• 圧倒的なディテール — 超高解像度（最大1536³ボクセル）のメッシュで、繊細な形状も忠実に再現
• 3Dプリント対応 — 完全密閉されたメッシュをすぐにエクスポートして、3Dプリントが可能
• 開いた面や複雑なジオメトリも高精度に再現
• 既存の拡散モデルと自然に統合可能
• 生成・学習・推論が軽量で高速

リンク