Summer Game Fest 2023 Trailers - ゲームの最新情...

2023年6月9日午前4時から配信された、ゲーム系発表するイベント「Summer Game Fest(サマーゲームフェスト)」に合わせて公開されたトレーラーで気になったものをピックアップしていきます。

  • 0
  • 0
  • 0
続きを読む

Stylized Post Process for Unreal Engine ...

Unreal Engine 5で手軽に適用可能なスタイライズドポストプロセスが、なんと無料で手に入りますよ!!!!!!!

  • 0
  • 0
  • 0
続きを読む

UTC Liquid Shader 1.0 - Substrateマテリアルを活...

テクニカルアーティストのCorentin Demougeot氏によるUE5.2で搭載されたSubstrateマテリアルを活用した液体表現シェーダープラグイン「UTC Liquid Shader 1.0」がGithub似て公開中です!

  • 0
  • 0
  • 0
続きを読む

Neuralangelo: High-Fidelity Neural Surfa...

NVIDIA Researchによる2D映像を複雑なディテールを持つ3D構造物に変える新しいAIモデル「Neuralangelo: High-Fidelity Neural Surface Reconstruction」が発表され話題を集めています。

  • 0
  • 0
  • 3
続きを読む

Fluid Flux 2.0 - 平面ベースで軽量なリアルタイム流体が実現可能!...

インディーゲームデベロッパーでグラフィックプログラマーのKrystian Komisarek氏(@ImaginaryBlend)の「Fluid Flux」メジャーアップデートが近日中にリリースされます!平面ベースのリアルタイム流体シミュレーションをお手軽に実装出来るUnreal Engine向けアセットです。

  • 0
  • 0
  • 0
続きを読む

Maya 2024 | 製品概要と購入 | Autodesk 公式

CommonSim-1 - AIの力で画像やアクション、テキストなどから適切な3Dコンテンツを生成するニューラル・シミュレーション・エンジンが登場!

この記事は約3分25秒で読めます

CSM(Common Sense Machines)にゆよる、画像、行動、テキストで制御するニューラル・シミュレーション・エンジン「CommonSim-1」が登場!


プロモーション

3DCG CREATOR CONTEST


CommonSim-1

Generative AIでは、多様な人間の経験や文化を大規模なモデルに圧縮する必要があります。実際、最近の大規模な生成モデル(Dall-E 2、StableDiffusion、Imagen、Make-A-Sceneなど)は、全く新しいイメージをゼロから作り出すという目覚ましい成果を上げている。このような流れの中で、AIシステムは、3Dモデル、長周期映像、効率的なアクションを生成することを学習する新しいクラスのシミュレータを作成することが自然な進化であると言えます。これらの技術は、ニューラルレンダリング、拡散モデル、および注意アーキテクチャの最近の進歩により、実現可能になりつつある。

Common Sense Machinesは、CommonSim-1と呼ばれるニューラル・シミュレーション・エンジンを構築しました。ユーザーやロボットは、コンテンツを作成したり、複雑なツールを操作するのに何週間も費やす代わりに、画像、アクション、テキストを通じてCommonSim-1と対話します。これらのインターフェースにより、写真を撮ったり、テキストで情景を描写したりするだけで、現実世界のデジタルレプリカを作成したり、新しい世界を想像したりすることができます。本日、これらのモデル機能をプレビューしています。開発者、クリエイター、研究者、その他の方々がどのような作品を作ることができるのか、今からとても楽しみです。

  • CommonSim-1: 経験から成長し適応するシミュレーター:新しいシミュレーション エンジンには、新しいインターフェイスが必要です。専用ツールの代わりに、、画像、言語、アクションで操作します。誰でもモデルにアクセスできるモバイルとウェブのインターフェース、ツールプラグインやREST API
  • 動画生成:わずか1フレームと一連の動作(カメラや体の動き)から高解像度の動画(512×512)を生成
    適切なデータがあれば、同じアーキテクチャをトレーニングして、多くの実施形態 (カメラ、ロボット、自動車など) にわたるタスクを解決できます。
  • 3Dコンテンツ生成:オブジェクトの動画をアップロードしクラウド上で処理。
    ユニバーサル3Dファイルフォーマット(obj, usdz, blend, glTFなど)やNeural Radiance Fields(NeRF)に簡単にエクスポート
  • これらの3Dアセットを既存の3Dエンジンにインポートして、シーンの合成やレンダリングが可能。ハイブリッド・レンダラー(現在Blenderに対応、今後対応予定)により、NeRFを従来の3Dアセットと合成

ニューラル言語は、像上の状況を記述するための強力な手段である。例えば、椅子の3Dモデルを持っていて、それを全く新しい環境でレンダリングしようとした場合、満足のいく結果を得るには、通常、数日から数週間かかるでしょう。テキスト・トゥ・イメージ・モデルは、このプロセスを自動化することができます。CommonSim-1で生成したメッシュやNeRFを使い、テキストプロンプトに自然言語で説明を入力すれば、新しいハイブリッドシーンを無制限に生成することができるのです。

これらのコンテンツ生成機構は、自動ラベル付けされた合成データを作成し、知覚システムを訓練するのに十分な精度と柔軟性を備えています。

ここでは、検出、セグメンテーション、6自由度ポーズトラッキングのためのエンドツーエンドのビジョンシステムの例を紹介します。このシステムは、人間が注釈を付けたデータや人間が作成したモデルを一切使わずにトレーニングされました。私たちはこれらのシステムを、食料品店、倉庫、工場、研究所、医療現場などの対象物でテストしました。

こういった3DCG制作の根本が変わってきそうだ…。
現在はアプリケーション、API、チェックポイント、コードへの早期アクセスのサインアップが可能とのこと。気になる方は是非チェックしてみてください。

リンク

Screenshot of csm.ai

プロモーション
Curo Inc.

関連記事

  1. DeepMotion Neuron - AIを使ったキャラクターモーション生成ツール!2018年第4四半期にリリース予定!

    2018-08-09

  2. Ubisoft Toronto "IK Rig" Prototype - UBIソフト トロントスタジオによるIKを活用したリグモデルのプロトタイプ映像!

    2015-06-16

  3. RigNet - ディープラーニングを活用しモデルへのスキニングを自動で行う技術のソースコードが公開!

    2020-10-22

  4. DreamFusion: Text-to-3D using 2D Diffusion - テキストプロンプトから3次元モデル(NeRF:Neural Radiance Field)を生成できる技術が登場!

    2022-09-30

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

2023/4/3 新サーバーへ移行しました!
3D/2D/VR/GAME/AIなどのCGに関連する
気になる情報やツールをほぼ毎日紹介!
TwitterやYoutubeなども是非フォロー
よろしくお願いします!

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

育成講座

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames



株式会社フロム・ソフトウェア 中途採用特設ページ

GRASSHOPPER MANUFACTURE

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る