南洋理工大学Sラボ、2海AIラボ、復旦大学、北京大学、中国科学院大学、センスタイムリサーチ、ステップファン、ウェストレイク大学らによる、新しいリメッシュ技術が登場！！「MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers」アーティストが手でモデリングしたかのように3Dメッシュを再構築してくれるらしいです！
MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers
MeshAnythingは、あらゆる3D表現からメッシュを抽出する際に、人間のアーティストを模倣します。MeshAnythingは、3D再構築や生成などの様々な3Dアセット制作パイプラインと組み合わせることができ、その結果を3D業界でシームレスに適用できるアーティスト作成メッシュに変換します。
MeshAnythingは、数百分の1の面数でメッシュを生成し、ストレージ、レンダリング、シミュレーションの効率を大幅に改善すると同時に、従来の方法に匹敵する精度を実現します。
近年、再構築と生成によって作成された3Dアセットは、手作業で作成されたアセットの品質に匹敵するようになり、その代替の可能性が強調されています。しかし、これらのアセットは常に3D産業用途のメッシュに変換する必要があり、現在のメッシュ抽出手法によって生成されるメッシュは、Artist-Created Meshes（AM）、すなわち人間のアーティストによって作成されたメッシュに大きく劣るため、この可能性はほとんど実現されていません。具体的には、現在のメッシュ抽出方法は、高密度の面に依存し、幾何学的特徴を無視しているため、非効率、複雑な後処理、表現品質の低下につながっています。これらの問題に対処するため、メッシュ抽出を生成問題として扱い、指定された形状に沿ったAMを生成するモデル、MeshAnythingを紹介します。あらゆる3D表現の3DアセットをAMに変換することで、MeshAnythingは様々な3Dアセット制作手法と統合することができ、3D業界全体への応用を強化します。MeshAnythingのアーキテクチャは、VQ-VAEと形状条件付きデコーダのみの変換器から構成されています。まず、VQ-VAEを使用してメッシュ語彙を学習し、次に、形状条件付き自己回帰メッシュ生成のために、この語彙に基づいて形状条件付きデコーダのみの変換器を訓練する。我々の広範な実験によれば、本手法は数百分の1の面数でAMを生成し、ストレージ、レンダリング、シミュレーションの効率を大幅に改善する一方、従来の手法に匹敵する精度を達成する。
こりゃやべえな・・・。フォトグラメトリーメッシュ、スキャンした点群データ、AI生成系モデルが一気に実用的になる気がする。「MeshAnything」はGithubにてコードは公開済み。そしてブラウザ上で試せるデモページも用意されています。
Hugging Faceのデモページに記載されている注意書きをよく読んでね。
・入力メッシュは単位バウンディングボックスに正規化される。
・入力メッシュのアップベクトルは、より良い結果を得るために+Yにする必要がある。
・入力メッシュが手動で作成されたメッシュの場合は、Preprocess with Marching Cubesにチェック
・MeshAnythingは800面未満のメッシュでトレーニングされ、800面以上のメッシュを生成することはできません。
とのこと
試したけどどうかな？未来を感じる？ポリゴンもう少し使えるようになるといいですね・・
詳細などはプロジェクトページをチェックしてみてください！
リンク
コメント