COYOTE スタジオ採用説明会 | クリエイターのための総合情報サイト CREATIVE VILLAGE

Blender 5.3 | 3D Gaussian Splattingに標準対応...

Blender Foundationと開発コミュニティは、2026年11月10日、無料&オープンソースの3DCGソフト「Blender 5.3」を正式リリースしました!

続きを読む

HairDeck: Animation-Ready Stylized Hair ...

清華大学のYuze He氏・Yixiang Wei氏ら&カーネギーメロン大学・香港中文大学の研究チームが、1枚の画像からスタイライズされた3Dヘアを生成する技術「HairDeck」を公開しています。

続きを読む

HairHarpy v2.0.0 | カーブによるメッシュ生成やUV展開&リトポ...

3DキャラクターアーティストのCataRackta氏( @CataRackta )が、スタイライズされた髪型を制作するソフト「HairHarpy v2.0.0」を無料公開しました。

続きを読む

Talk風Live翻訳 1.0 | PCの英語音声をやさしい日本語のチャットに!...

エンジニア上がりの元ゲーム会社ディレクターStudioYebisu氏( @studio_yebisu )が、PCで再生中の英語音声を日本語に翻訳するWindows向けアプリ「Talk風Live翻訳 1.0.0」を公開しました。

続きを読む

Floaters - The BIGGEST 3D Modeling Cheat...

Blender BrosのJosh氏による、Blenderでフローターを使ったディテール追加の方法を解説するチュートリアル動画「Floaters - The BIGGEST 3D Modeling Cheat Code」をご紹介!

続きを読む

DreamFusion: Text-to-3D using 2D Diffusion - テキストプロンプトから3次元モデル(NeRF:Neural Radiance Field)を生成できる技術が登場!

この記事は約2分36秒で読めます

Google Researchチームらによる、テキストから画像への拡散モデルを使用し、NeRF(Neural Radiance Field)を構築する事で、3Dデータ無しで3D形状を生成できる技術「DreamFusion」が登場していました。

2022年10月7日 – 日本語の解説動画を追加

DreamFusion

近年、テキストから画像への合成において、数十億の画像とテキストのペアで学習した拡散モデルによって飛躍的な進歩があった。このアプローチを3D合成に適用するには、ラベル付けされた3D資産の大規模データセットと3Dデータのノイズ除去のための効率的なアーキテクチャが必要であるが、どちらも現在存在しない。本研究では、これらの制約を回避するために、事前に学習した2次元のテキストから画像への拡散モデルを用いて、テキストから3次元への合成を実行する。本研究では、確率密度蒸留法に基づく損失を導入し、パラメトリック画像生成器の最適化のための事前学習として2次元拡散モデルを使用することを可能にする。この損失を用いて、ランダムに初期化された3次元モデル(Neural Radiance Field: NeRF)を勾配降下法により最適化し、ランダムな角度からの2次元レンダリングが低損失となるようにする。その結果、与えられたテキストの3Dモデルを任意の角度から見たり、任意の照明で照らしたり、任意の3D環境に合成したりすることができるようになる。本手法は、3次元学習データおよび画像拡散モデルの改変を必要とせず、事前学習された画像拡散モデルの有効性を示すものである。

キャプションが与えられると、DreamFusionはImagenというテキストから画像への生成モデルを用いて、3Dシーンを最適化する。我々は、損失関数を最適化することによって拡散モデルからサンプルを生成する方法であるScore Distillation Sampling (SDS)を提案する。SDSは、画像に微分的にマップバックできる限り、3次元空間のような任意のパラメータ空間においてサンプルを最適化することができる。この微分可能なマッピングを定義するために、Neural Radiance Fields(NeRF)に似た3Dシーンパラメタリゼーションを使用する。SDSは単独で合理的なシーンの外観を生成しますが、DreamFusionは正則化と最適化戦略を追加し、ジオメトリを改善します。その結果、学習されたNeRFは、高品質の法線、表面形状、深度を持ち、ランバートシェーディングモデルで再照明可能な、首尾一貫したものとなります。

  • テキストから3Dを生成
  • 生成サンプルギャラリー:DreamFusion: Text-to-3D using 2D Diffusion
  • 生成物はNeRFモデルなのでマーチングキューブアルゴリズムを使用して3Dメッシュ化可能

DreamFusion 日本語解説動画

凄い時代になっていきますね。もはや簡単なものはモデリングすら不要になるかぁ。
こういった素材をどう活用するかが今後重要になってきそうです。論文は公開されておりますが、プロジェクトはまだ未公開かな?楽しみですね。是非サイトをチェックしてみてください。

リンク

Screenshot of dreamfusion3d.github.io

PR

関連記事

  1. MeshRipple: Structured Autoregressive Generation of Artist-Meshes - 波紋のように面を広げる考え方でより破綻の少ないトポロジーのメッシュを生成する為の技術アプローチ!

    2025-12-22

  2. Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction - 動画生成AIを活用し映像からシーン形状を再構築する技術!

    2025-04-18

  3. Interactive Photo Colorizer - AIパワーで白黒写真をカラーに出来るスタンドアロンツールが公開!GPU不要!オフライン動作!Win&Mac

    2023-07-12

  4. MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model - テキストから最適な人物の3Dモーションを生成する技術!

    2022-10-05

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!
※当サイトのリンクにはアフィリエイトを含みます

※当サイトの一部記事にはアフィリエイトが含まれております。

スポンサープロダクト


X-Ray Realtime Light and TexturingTool

CGElementaryに関する記事一覧


Character Creator - アニメーション、ゲーム、AR/VR のための 3D キャラメイクソフト

Reallusionに関する記事一覧


Paintstorm Studio

Paintstorm Studioに関する記事一覧


MarvelousDesigner

MarvelousDesignerに関する記事一覧


JangaFX - Real-Time VFX Software For Real-Time VFX Artists

JangaFXに関する記事一覧


パルミーの講座が見放題!月謝制お申し込み|お絵かき講座パルミー

Palmieに関する記事一覧


《ドラゴン》―複雑な生き物モデリングとマップ作成技術のコース【Japanese】

WINGFOXに関する記事一覧


アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR






Donate

   
USD
3D人のLINEアカウントを作りました!
友だち追加




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る