エントリーフォーム - COYOTE 3DCG STUDIO | C&R Creative Studios

Dirty Pawn System - 手軽に水濡れや汚れ表現を付与できるUnr...

Kelint氏による手軽に水濡れや汚れ表現を付与できるUnreal Engine向けマテリアル&BPシステムアセット「Dirty Pawn System」が登場!

続きを読む

Cycles Baker - HighメッシュからLowメッシュへの高機能なベイ...

数多くのアドオンを開発・公開しているBartosz Styperek氏による、Blender向けのテクスチャベイキングアドオン「Cycles Baker」がリリースされました!無料です!

続きを読む

Etherion Foliage Plugin Pro&Lite - 高速かつ軽...

Etherion Designsから高速かつ軽快に植物などのインタラクションを実現するUnreal Engine 5プラグイン「Etherion Foliage Plugin」がリリースされました!安価なLite版と更に高機能なPro版が提供されています。

続きを読む

EinScan Rigil - SHINING 3Dから多彩なスキャンモードを備...

数多くの3Dスキャナーを展開しているSHINING 3Dによるハンディタイプの3Dスキャナー「EinScan Rigil」の情報が公開されました!

続きを読む

The VAT Man v1.0 - VAT(頂点アニメーションテクスチャ)をベ...

Nodes and noodlesによる、Blender上で手軽にVAT(頂点アニメーションテクスチャ)をベイク出来るアドオン「The VAT Man」がリリースされました!

続きを読む

従量課金制の Flex で柔軟に制作 | メディア&エンターテイメント | Autodesk

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior - テキストから3Dモデルを生成する技術!既存技術よりも更に高精度に!

この記事は約2分10秒で読めます

清華大学やDeepSeek AIなどの研究者たちによる、より高精度なText-to-3Dモデル『DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior』が公開されています。


プロモーション

Level Designer's Matrix


DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

我々はDreamCraft3Dを発表する。これは、高忠実度で首尾一貫した3Dオブジェクトを生成する階層的3Dコンテンツ生成手法である。我々は、ジオメトリ・スカルプティングとテクスチャ・ブーストの段階をガイドするために、2D参照画像を活用することによってこの問題に取り組む。本研究の中心的な焦点は、既存の研究が遭遇している一貫性の問題に対処することである。首尾一貫してレンダリングされるジオメトリをスカルプトするために、ビュー依存の拡散モデルを介してスコア蒸留サンプリングを実行する。この3D事前処理は、いくつかの学習戦略とともに、ジオメトリの一貫性を優先させるが、テクスチャの忠実性は妥協する。さらに、テクスチャに特化したBootstrapped Score Distillation(BSD)を提案する。我々は、最適化されるシーンの3D知識を付与するために、シーンの拡張レンダリング上でパーソナライズされた拡散モデルであるDreamboothを訓練する。この3Dを意識した拡散事前処理からのスコア抽出は、シーンのビューに一貫したガイダンスを提供する。注目すべきは、拡散事前予測と3Dシーン表現を交互に最適化することで、相互に補強し合う改善を達成していることです。最適化された3Dシーンは、シーン固有の拡散モデルの学習を助け、3D最適化のためのビューコンシステントなガイダンスをますます提供します。最適化はこのようにブートストラップされ、実質的なテクスチャブーストにつながる。DreamCraft3Dは、階層的生成の全体を通して調整された3Dプリオールにより、フォトリアリスティックなレンダリングで首尾一貫した3Dオブジェクトを生成し、3Dコンテンツの最先端を進めます。

DreamCraft3Dは、テキストプロンプトから生成された2D画像を利用して、ジオメトリのスカルプトとテクスチャブーストの段階をガイドします。ジオメトリをスカルプトする際、ビュー条件付き拡散モデルは、ジオメトリの一貫性を確保するために重要な3Dガイダンスを提供します。その後、周期的最適化を行うことで、テクスチャの品質を向上させます。マルチビューレンダリングを補強し、それを使って拡散モデルDreamBoothを微調整し、シーンを最適化するためにマルチビューで一貫性のあるグラデーションを提供します。進化する拡散事前分布から蒸留する損失を、bootstrapped distillation samplingと呼ぶ。

まずは高品質の2D参照画像を生成し、その後3Dに変換するという段階的な手法を採用。
いやぁこの分野の技術発展がすごいぞ…
まだ完璧では無いものの、用途次第では現時点でも使い所がありそうなクオリティです。
既に論文やGithubページも公開済みのようです。
その他詳細はプロジェクトページをご確認ください。

リンク

Screenshot of mrtornado24.github.io

プロモーション


関連記事

  1. 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering - 動的な3Dガウス・スプラッティングシーン学習&軽量にリアルタイム再生する技術!

    2023-11-06

  2. Unity ArtEngine - AIを活用した新テクノロジー紹介!Unite Now 2020 注目講演の日本語吹替&解説動画が公開!

    2020-10-21

  3. PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360° - 1枚の写真から3D頭部を構築出来る生成技術が登場!CVPR 2023論文!

    2023-06-26

  4. GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting - 4枚の画像からGaussian Splatting技術を活用し高品質な3Dオブジェクトを生成するための技術が登場!

    2024-05-21

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

3DCG募集要項 | 株式会社Colorful Palette

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る