MeshPad: Interactive Sketch Conditioned Artistic-designed Mesh Generation and Editing - スケッチ入力をベースに忠実性の高い3Dメッシュを生成する技術！

スケッチ入力をベースに忠実性の高い3Dメッシュを生成する技術「MeshPad: Interactive Sketch Conditioned Artistic-designed Mesh Generation and Editing」のご紹介。

MeshPad: Interactive Sketch Conditioned Artistic-designed Mesh Generation and Editing

スケッチ入力から3Dメッシュを生成するジェネレーティブ・アプローチ、MeshPadを紹介する。

芸術的にデザインされた三角形メッシュ生成における最近の進歩に基づき、我々のアプローチはインタラクティブで芸術的なメッシュ生成の必要性に対応する。 この目的のために、編集をメッシュの領域の「削除」と、それに続く新しいメッシュ形状の「追加」に分解することによって、一貫した編集を可能にすることに焦点を当てる。 両操作は、スケッチ画像の簡単なユーザー編集によって呼び出され、反復的なコンテンツ作成プロセスを容易にし、複雑な3Dメッシュの構築を可能にする。 私たちのアプローチは、三角形シーケンスベースのメッシュ表現に基づいており、メッシュの三角形の追加と削除のために大規模なTransformerモデルを利用しています。 編集をインタラクティブに行うために、加法的メッシュ生成器の上に頂点整列投機的予測戦略を導入する。 この投機器は、頂点に対応する複数の出力トークンを予測するため、推論の計算コストを大幅に削減し、編集プロセスを高速化し、各編集ステップをわずか数秒で実行することを可能にする。

包括的な実験により、MeshPadは最先端のスケッチ条件付きメッシュ生成法を凌駕し、面取り距離において22%以上のメッシュ品質向上を達成し、知覚評価において参加者の90%に好まれていることが実証された。

リンク