Tripoなどでお馴染みVASTのAIリサーチームと香港大学がAIを活用したメッシュのパーツ分解技術「HoloPart」をオープンソース公開しました！

​3Dモデリングやアニメーション制作に携わる方々にとって、モデルの細部まで完全に把握することは非常に重要です。しかし、スキャンデータやAI生成モデルでは、部品が一体化していたり、隠れている部分が不明瞭だったりすることが多く、編集やアニメーション化が困難でした。​
この課題を解決するために登場したのが、VAST-AIと香港大学が共同開発した「HoloPart」です。​

HoloPart: Generative 3D Part Amodal Segmentation

3Dパーツのアモーダルなセグメンテーション–3D形状を、オクルージョンがあっても、完全で意味的に意味のあるパーツに分解すること–は、3Dコンテンツの作成と理解にとって、困難だが極めて重要なタスクである。 既存の3Dパーツセグメンテーション手法は、目に見える表面パッチを識別するだけであり、その有用性は限定的である。 我々は、2Dアモーダルセグメンテーションに着想を得て、この新しいタスクを3Dドメインに導入し、オクルージョン3D形状の推論、グローバルな形状の一貫性の維持、限られた学習データでの多様な形状の取り扱いという主要な課題に対処する、実用的な2段階のアプローチを提案する。 まず、既存の3Dパーツセグメンテーションを活用し、初期の不完全なパーツセグメントを得る。 次に、これらのセグメントを完全な3Dパーツに完成させるために、新しい拡散ベースのモデルであるPartCompを導入する。 PartCompは、きめ細かい部品形状を捉えるための局所的な注意と、全体的な形状の一貫性を確保するための大域的な形状コンテキストへの注意を備えた、特殊なアーキテクチャを利用している。 ABOとPartObjaverse-Tinyデータセットに基づく新しいベンチマークを紹介し、PartCompが最先端の形状補完手法を大幅に上回ることを実証する。 PartCompを既存のセグメンテーション手法に組み込むことで、3Dパーツのアモーダルセグメンテーションにおいて有望な結果を得ることができ、形状編集、アニメーション、材料割り当てへの応用に新たな道を開くことができる。

HoloPartを使用することで広がる可能性

• 部品の編集：​椅子の脚や眼鏡のフレームなど、特定の部品を簡単に選択し、移動やサイズ変更が可能
• マテリアルの適用：​部品ごとに異なる素材やテクスチャを適用可能に
• アニメーション化：​完全な部品構造により、リギングやアニメーションが容易に
• ジオメトリの処理：​部品単位でのリメッシュや他のジオメトリ処理が効率的に行えます

リンク