Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image - 1枚の画像から３Dメッシュを生成するフレームワーク！オープンソース公開！オンライン上で動かすデモもあるよ！

中国・清華大学の研究チームらによる、1枚の画像から3Dモデルを生成するフレームワーク「Unique3D」が公開されました。

Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

本研究では、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための新しい画像-3DフレームワークであるUnique3Dを紹介する。スコア蒸留サンプリング（Score Distillation Sampling: SDS）に基づく従来の手法は、大規模な2次元拡散モデルから3次元知識を抽出することにより、多様な3次元結果を生成することができるが、通常、ケースごとの最適化時間が長く、一貫性のない問題に悩まされている。最近の研究では、この問題に対処し、マルチビュー拡散モデルを微調整するか、高速フィードフォワードモデルをトレーニングすることで、より優れた3D結果を生成している。しかし、一貫性がなく、生成される解像度が限られているため、複雑なテクスチャや複雑なジオメトリがまだ不足しています。単一画像から3Dへの高い忠実度、一貫性、効率性を同時に達成するために、我々は、法線マップを持つマルチビュー画像を生成するための、対応する法線拡散モデルを持つマルチビュー拡散モデル、生成された正投影マルチビューの解像度を漸進的に向上させるためのマルチレベルアップスケール処理、およびメッシュ結果に色と幾何学的プリオールを完全に統合するISOMERと呼ばれる即時かつ一貫性のあるメッシュ再構成アルゴリズムを含む、新しいフレームワークUnique3Dを提案する。広範な実験により、私たちのUnique3Dは、幾何学的およびテクスチャの詳細という点で、他の画像から3Dへのベースラインを大幅に上回ることが実証されています。

リンク