ナンヤン工科大学、Math Magic、インペリアル・カレッジ・ロンドンの研究者らによる、１枚の画像から超高精細な破綻の少ない3Dモデルを生成する技術『Sparc3D（Sparse Representation and Construction for High-Resolution 3D Shapes Modeling）』が公開されました！
Sparc3D（Sparse Representation and Construction for High-Resolution 3D Shapes Modeling）
高精度な3Dオブジェクト生成は、2D画像生成に比べて依然として大きな課題です。これはメッシュデータが非構造的であったり、高密度なボリュームグリッドが立方体的な計算コストを伴うためです。
従来の2段階のパイプライン（VAEでメッシュを圧縮し、その潜在空間から拡散モデルで生成）は、表現の非効率さやVAE内でのモダリティのズレにより、細部の欠落が起こりやすいという課題がありました。
Sparc3Dは、この問題に対処するために開発された統合フレームワークで、変形可能なスパース・マーチングキューブ表現「Sparcubes」と、スパース畳み込みベースのVAE「Sparconv-VAE」を組み合わせています。
Sparcubesは、サインド距離場と変形情報をスパースな立方体に散布することで、任意のトポロジーを持つ高解像度（1024³）のサーフェスに変換可能。これにより、微細な形状も保存しつつ、差分可能な最適化が行えます。
Sparconv-VAEは、全体をスパース畳み込みネットワークで構築された初のVAEであり、高効率かつロスレスに近い再構成を可能とします。これにより、拡散モデルとの統合がスムーズに行えるようになり、スケーラブルで高解像な3D生成が可能になります。
- 圧倒的なディテール — 超高解像度（最大1536³ボクセル）のメッシュで、繊細な形状も忠実に再現
- 3Dプリント対応 — 完全密閉されたメッシュをすぐにエクスポートして、3Dプリントが可能
- 開いた面や複雑なジオメトリも高精度に再現
- 既存の拡散モデルと自然に統合可能
- 生成・学習・推論が軽量で高速
これはすごいな…色々と変わってくるよ…
Gleb Alexandrov氏の見解動画も貼り付けておきます。
ルール策定や法整備、学習データの出所などが曖昧なまま、こうした技術だけがどんどん先行して進化している印象です。どうなることやら…。
「Sparc3D」は現在プロジェクトページが公開。Hugging Faceでデモを試すことができるので、ぜひチェックしてみてください。
リンク
RSSリーダーで購読する
コメント