ANIMAX 2.3 - プロシージャルアニメーションを手軽に実装出来るツールセ...

Monaime Zaim氏による多彩なプロシージャルアニメーションを実現出来るBlender向けアドオン『ANIMAX』のv2.3がリリースされました!

続きを読む

gkRig - DreamWorks Animationのキャラクターテクニカル...

DreamWorks Animationのキャラクターテクニカルディレクター稲垣 教範 (Yukinori Inagaki)氏がMayaのBifrost向けリギング用コンパウンドをGithub上に公開しました!

続きを読む

Voxility Pro: Voxel File Format Exchange...

Harry McKenzie氏によるBlender向けボクセル変換アドオン『Voxility Pro』がリリースされました!

続きを読む

Bonex - Bone Physics Driven By Physx - ボ...

oimoyu氏による、ボーンへの物理アニメーションを手軽に追加可能なBlenderアドオン『Bonex』がリリースされています!

続きを読む

Chaos Flesh Meat Cube - 14年前にGDC2008のUE3...

Evelyn Schwab氏が14年前にGDC2008のUE3技術デモとして公開された肉塊キューブをUnreal Engine 5.3のソフトボディ「Chaos Flesh」を使用し再現したサンプルプロジェクトをGithub上で無償配布しています!

続きを読む

Maya 2024 | 製品概要と購入 | Autodesk 公式

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior - テキストから3Dモデルを生成する技術!既存技術よりも更に高精度に!

この記事は約2分10秒で読めます

清華大学やDeepSeek AIなどの研究者たちによる、より高精度なText-to-3Dモデル『DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior』が公開されています。


プロモーション

求人情報検索 | CG・映像の専門情報サイト | CGWORLD.jp


DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

我々はDreamCraft3Dを発表する。これは、高忠実度で首尾一貫した3Dオブジェクトを生成する階層的3Dコンテンツ生成手法である。我々は、ジオメトリ・スカルプティングとテクスチャ・ブーストの段階をガイドするために、2D参照画像を活用することによってこの問題に取り組む。本研究の中心的な焦点は、既存の研究が遭遇している一貫性の問題に対処することである。首尾一貫してレンダリングされるジオメトリをスカルプトするために、ビュー依存の拡散モデルを介してスコア蒸留サンプリングを実行する。この3D事前処理は、いくつかの学習戦略とともに、ジオメトリの一貫性を優先させるが、テクスチャの忠実性は妥協する。さらに、テクスチャに特化したBootstrapped Score Distillation(BSD)を提案する。我々は、最適化されるシーンの3D知識を付与するために、シーンの拡張レンダリング上でパーソナライズされた拡散モデルであるDreamboothを訓練する。この3Dを意識した拡散事前処理からのスコア抽出は、シーンのビューに一貫したガイダンスを提供する。注目すべきは、拡散事前予測と3Dシーン表現を交互に最適化することで、相互に補強し合う改善を達成していることです。最適化された3Dシーンは、シーン固有の拡散モデルの学習を助け、3D最適化のためのビューコンシステントなガイダンスをますます提供します。最適化はこのようにブートストラップされ、実質的なテクスチャブーストにつながる。DreamCraft3Dは、階層的生成の全体を通して調整された3Dプリオールにより、フォトリアリスティックなレンダリングで首尾一貫した3Dオブジェクトを生成し、3Dコンテンツの最先端を進めます。

DreamCraft3Dは、テキストプロンプトから生成された2D画像を利用して、ジオメトリのスカルプトとテクスチャブーストの段階をガイドします。ジオメトリをスカルプトする際、ビュー条件付き拡散モデルは、ジオメトリの一貫性を確保するために重要な3Dガイダンスを提供します。その後、周期的最適化を行うことで、テクスチャの品質を向上させます。マルチビューレンダリングを補強し、それを使って拡散モデルDreamBoothを微調整し、シーンを最適化するためにマルチビューで一貫性のあるグラデーションを提供します。進化する拡散事前分布から蒸留する損失を、bootstrapped distillation samplingと呼ぶ。

まずは高品質の2D参照画像を生成し、その後3Dに変換するという段階的な手法を採用。
いやぁこの分野の技術発展がすごいぞ…
まだ完璧では無いものの、用途次第では現時点でも使い所がありそうなクオリティです。
既に論文やGithubページも公開済みのようです。
その他詳細はプロジェクトページをご確認ください。

リンク

Screenshot of mrtornado24.github.io

プロモーション


関連記事

  1. MusicLM - Googleがテキストから音楽を生成するAIモデルを発表!

    2023-01-31

  2. RigNet: Neural Rigging for Articulated Characters - ディープラーニングでモデルへのリギングを自動で行ってくれる技術!SIGGRAPH 2020 論文

    2020-05-11

  3. NVIDIA ACE (Avatar Cloud Engine) - ゲームキャラクターと自然な対話を可能にするAI技術サービス群!早期アクセスが可能に!

    2024-01-09

  4. InvokeAI 3.0 - SDXLやControlNetもサポート!ローカル環境で扱える多機能で無料&オープンソースのStable Diffusion画像生成スタンドアロンソフト!

    2023-07-27

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

2023/4/3 新サーバーへ移行しました!
3D/2D/VR/GAME/AIなどのCGに関連する
気になる情報やツールをほぼ毎日紹介!
TwitterやYoutubeなども是非フォロー
よろしくお願いします!

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR


採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

ネットで学べる3DCG講座 MAYA 3dsMax |デジハリ・オンラインスクール

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る