CommonSim-1 - AIの力で画像やアクション、テキストなどから適切な3Dコンテンツを生成するニューラル・シミュレーション・エンジンが登場！

CSM（Common Sense Machines）にゆよる、画像、行動、テキストで制御するニューラル・シミュレーション・エンジン「CommonSim-1」が登場！

CommonSim-1

Generative AIでは、多様な人間の経験や文化を大規模なモデルに圧縮する必要があります。実際、最近の大規模な生成モデル（Dall-E 2、StableDiffusion、Imagen、Make-A-Sceneなど）は、全く新しいイメージをゼロから作り出すという目覚ましい成果を上げている。このような流れの中で、AIシステムは、3Dモデル、長周期映像、効率的なアクションを生成することを学習する新しいクラスのシミュレータを作成することが自然な進化であると言えます。これらの技術は、ニューラルレンダリング、拡散モデル、および注意アーキテクチャの最近の進歩により、実現可能になりつつある。

Common Sense Machinesは、CommonSim-1と呼ばれるニューラル・シミュレーション・エンジンを構築しました。ユーザーやロボットは、コンテンツを作成したり、複雑なツールを操作するのに何週間も費やす代わりに、画像、アクション、テキストを通じてCommonSim-1と対話します。これらのインターフェースにより、写真を撮ったり、テキストで情景を描写したりするだけで、現実世界のデジタルレプリカを作成したり、新しい世界を想像したりすることができます。本日、これらのモデル機能をプレビューしています。開発者、クリエイター、研究者、その他の方々がどのような作品を作ることができるのか、今からとても楽しみです。

• CommonSim-1: 経験から成長し適応するシミュレーター：新しいシミュレーション エンジンには、新しいインターフェイスが必要です。専用ツールの代わりに、、画像、言語、アクションで操作します。誰でもモデルにアクセスできるモバイルとウェブのインターフェース、ツールプラグインやREST API

• 動画生成：わずか1フレームと一連の動作（カメラや体の動き）から高解像度の動画（512×512）を生成
  適切なデータがあれば、同じアーキテクチャをトレーニングして、多くの実施形態 (カメラ、ロボット、自動車など) にわたるタスクを解決できます。

• 3Dコンテンツ生成：オブジェクトの動画をアップロードしクラウド上で処理。
  ユニバーサル3Dファイルフォーマット（obj, usdz, blend, glTFなど）やNeural Radiance Fields（NeRF）に簡単にエクスポート

• これらの3Dアセットを既存の3Dエンジンにインポートして、シーンの合成やレンダリングが可能。ハイブリッド・レンダラー（現在Blenderに対応、今後対応予定）により、NeRFを従来の3Dアセットと合成

ニューラル言語は、像上の状況を記述するための強力な手段である。例えば、椅子の3Dモデルを持っていて、それを全く新しい環境でレンダリングしようとした場合、満足のいく結果を得るには、通常、数日から数週間かかるでしょう。テキスト・トゥ・イメージ・モデルは、このプロセスを自動化することができます。CommonSim-1で生成したメッシュやNeRFを使い、テキストプロンプトに自然言語で説明を入力すれば、新しいハイブリッドシーンを無制限に生成することができるのです。

これらのコンテンツ生成機構は、自動ラベル付けされた合成データを作成し、知覚システムを訓練するのに十分な精度と柔軟性を備えています。

ここでは、検出、セグメンテーション、6自由度ポーズトラッキングのためのエンドツーエンドのビジョンシステムの例を紹介します。このシステムは、人間が注釈を付けたデータや人間が作成したモデルを一切使わずにトレーニングされました。私たちはこれらのシステムを、食料品店、倉庫、工場、研究所、医療現場などの対象物でテストしました。

リンク

We have built CommonSim-1, a neural simulation engine controlled by images, actions and text. This is a new era in generative AI where simulators will grow and adapt with experience. Read on for more and sign up for early access to apps/API/open-source: https://t.co/txuM002cLc pic.twitter.com/FU07NvXrPd

— Common Sense Machines (@CSM_ai) October 17, 2022