Blender 4.2 LTS - 長期サポートメジャーアップデート!SSGIや...

2024年7月16日 無料&オープンソースのCGソフトウェア「Blender 4.2 LTS」がリリースされました!

続きを読む

Anything World - 機械学習を活用した自動スキニング&アニメーショ...

AI、音声コンピューティング、3D レンダリングを行動インテリジェンスのレイヤーと組み合わせた革新的なプラットフォーム「Anything World」のソリューションがUnreal Engineプラグインとしてリリース!

続きを読む

Animcraft 5.0 - 様々な機能を兼ね備えたアニメーション効率化ソフト...

Basefountによる様々な機能を兼ね備えたアニメーション効率化ソフトウェアソリューション「Animcraft 5.0」がリリースされていました。

続きを読む

Procedural Anatomy Open Beta - Houdiniベー...

Djangotron StudiosによるHoudiniベースのプロシージャル人体構築ツール「Procedural Anatomy」のベータ版が期間限定で公開されています!

続きを読む

PaintsUndo: A Base Model of Drawing Beha...

lllyasviel(Lvmin Zhang氏)が完成画像を入力すると下描きから着彩までの製作工程動画を出力可能な技術「PaintsUndo: A Base Model of Drawing Behaviors in Digital Paintings」を公開しました!

続きを読む

Maya 2024 | 製品概要と購入 | Autodesk 公式

CommonSim-1 - AIの力で画像やアクション、テキストなどから適切な3Dコンテンツを生成するニューラル・シミュレーション・エンジンが登場!

この記事は約3分25秒で読めます

CSM(Common Sense Machines)にゆよる、画像、行動、テキストで制御するニューラル・シミュレーション・エンジン「CommonSim-1」が登場!


プロモーション

求人情報検索 | CG・映像の専門情報サイト | CGWORLD.jp


CommonSim-1

Generative AIでは、多様な人間の経験や文化を大規模なモデルに圧縮する必要があります。実際、最近の大規模な生成モデル(Dall-E 2、StableDiffusion、Imagen、Make-A-Sceneなど)は、全く新しいイメージをゼロから作り出すという目覚ましい成果を上げている。このような流れの中で、AIシステムは、3Dモデル、長周期映像、効率的なアクションを生成することを学習する新しいクラスのシミュレータを作成することが自然な進化であると言えます。これらの技術は、ニューラルレンダリング、拡散モデル、および注意アーキテクチャの最近の進歩により、実現可能になりつつある。

Common Sense Machinesは、CommonSim-1と呼ばれるニューラル・シミュレーション・エンジンを構築しました。ユーザーやロボットは、コンテンツを作成したり、複雑なツールを操作するのに何週間も費やす代わりに、画像、アクション、テキストを通じてCommonSim-1と対話します。これらのインターフェースにより、写真を撮ったり、テキストで情景を描写したりするだけで、現実世界のデジタルレプリカを作成したり、新しい世界を想像したりすることができます。本日、これらのモデル機能をプレビューしています。開発者、クリエイター、研究者、その他の方々がどのような作品を作ることができるのか、今からとても楽しみです。

  • CommonSim-1: 経験から成長し適応するシミュレーター:新しいシミュレーション エンジンには、新しいインターフェイスが必要です。専用ツールの代わりに、、画像、言語、アクションで操作します。誰でもモデルにアクセスできるモバイルとウェブのインターフェース、ツールプラグインやREST API
  • 動画生成:わずか1フレームと一連の動作(カメラや体の動き)から高解像度の動画(512×512)を生成
    適切なデータがあれば、同じアーキテクチャをトレーニングして、多くの実施形態 (カメラ、ロボット、自動車など) にわたるタスクを解決できます。
  • 3Dコンテンツ生成:オブジェクトの動画をアップロードしクラウド上で処理。
    ユニバーサル3Dファイルフォーマット(obj, usdz, blend, glTFなど)やNeural Radiance Fields(NeRF)に簡単にエクスポート
  • これらの3Dアセットを既存の3Dエンジンにインポートして、シーンの合成やレンダリングが可能。ハイブリッド・レンダラー(現在Blenderに対応、今後対応予定)により、NeRFを従来の3Dアセットと合成

ニューラル言語は、像上の状況を記述するための強力な手段である。例えば、椅子の3Dモデルを持っていて、それを全く新しい環境でレンダリングしようとした場合、満足のいく結果を得るには、通常、数日から数週間かかるでしょう。テキスト・トゥ・イメージ・モデルは、このプロセスを自動化することができます。CommonSim-1で生成したメッシュやNeRFを使い、テキストプロンプトに自然言語で説明を入力すれば、新しいハイブリッドシーンを無制限に生成することができるのです。

これらのコンテンツ生成機構は、自動ラベル付けされた合成データを作成し、知覚システムを訓練するのに十分な精度と柔軟性を備えています。

ここでは、検出、セグメンテーション、6自由度ポーズトラッキングのためのエンドツーエンドのビジョンシステムの例を紹介します。このシステムは、人間が注釈を付けたデータや人間が作成したモデルを一切使わずにトレーニングされました。私たちはこれらのシステムを、食料品店、倉庫、工場、研究所、医療現場などの対象物でテストしました。

こういった3DCG制作の根本が変わってきそうだ…。
現在はアプリケーション、API、チェックポイント、コードへの早期アクセスのサインアップが可能とのこと。気になる方は是非チェックしてみてください。

リンク

Screenshot of csm.ai

プロモーション


関連記事

  1. DreamFusion: Text-to-3D using 2D Diffusion - テキストプロンプトから3次元モデル(NeRF:Neural Radiance Field)を生成できる技術が登場!

    2022-09-30

  2. NVIDIA ACE (Avatar Cloud Engine) - ゲームキャラクターと自然な対話を可能にするAI技術サービス群!早期アクセスが可能に!

    2024-01-09

  3. Neuralangelo: High-Fidelity Neural Surface Reconstruction - 2D映像を複雑なディテールを持つ3D構造物に変える新しいAIモデル!NVIDIA Researchによる技術!CVPR2023技術論文!

    2023-06-07

  4. TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion - 数枚の画像からターゲットの3Dモデルにテクスチャを転送する技術!

    2024-01-22

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

DAIKIN x Autodesk |CG Channel Week 2024

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る