Metaやカリフォルニア大学サンディエゴ校 、メリーランド大学カレッジパーク校の研究者らによる、数枚の画像からターゲットの3Dモデルにテクスチャを転送する技術『TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion』が発表されています。
TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion
TextureDreamerは、フォトリアリスティックで、忠実度が高く、ジオメトリを考慮したテクスチャを3-5画像から任意の3Dメッシュに転送します。
我々はTextureDreamerを発表する。TextureDreamerは、少数の入力画像（3〜5枚）から、任意のカテゴリにわたるターゲット3D形状に再照明可能なテクスチャを転送する、新しい画像ガイド付きテクスチャ合成手法である。テクスチャの作成は、視覚とグラフィックスにおける極めて重要な課題である。工業企業は、3D資産のテクスチャを手作業で作成するために、経験豊富なアーティストを雇っています。古典的な方法は、高密度にサンプリングされたビューと正確に整列されたジオメトリを必要とし、学習ベースの方法は、データセット内のカテゴリ固有の形状に限定されます。対照的に、TextureDreamerは、何気なく撮影した数枚の画像だけで、実世界の環境から非常に詳細で複雑なテクスチャを任意のオブジェクトに転送することができ、テクスチャ作成を大幅に民主化できる可能性があります。
我々のコアアイデアであるパーソナライズされた形状認識スコア蒸留（PGSD）は、テクスチャ情報抽出のためのパーソナライズされたモデリング、詳細な外観合成のための変分スコア蒸留、ControlNetによる明示的な形状ガイダンスなど、拡散モデルにおける最近の進歩からインスピレーションを得ている。我々の統合といくつかの本質的な修正により、テクスチャ品質が大幅に改善された。様々なカテゴリにまたがる実画像を用いた実験により、TextureDreamerは非常にリアルで意味的に意味のあるテクスチャを任意のオブジェクトにうまく転送でき、従来の最先端技術の視覚的品質を凌駕することが示された。
シンプルなパターン替えテクスチャを作るのにとても良さそうですねぇ。
ゼロベースから生成するよりも、こういう転写系の技術は現状でも活用の余地がありそうで気になっています。
現状コード公開はまだかな？その他詳細は公式のプロジェクトページをご確認ください。
リンク
コメント