AnimationCafe

Mirage - AIを活用した3Dモデルの高速な検索エンジン!その他にプロンプ...

MirageによるAIを活用した3Dモデル高速検索エンジンが公開されています。その他にAIを使ったモデル生成なども可能です。

  • 0
  • 0
  • 0
続きを読む

XP-Pen Artist 13 セカンド レビュー - 程よいサイズで高性能な...

XP-Pen社様から13.3インチのコンパクトな液晶ペンタブレットの最新モデル「Artist 13 セカンド」をご提供いただきましたので使ってみました!

  • 1
  • 0
  • 0
続きを読む

Sci-Fi Soldier Helmet Design Free Model ...

CGアーティストzhu liu氏がZBrushで制作されたSF兵士のヘルメットモデルをArtstation上で無料公開しています。

  • 13
  • 0
  • 0
続きを読む

Marmoset Toolbag 4.05 - 対称ペイント!USDやDLSS対...

2023年1月23日、Marmosetのリアルタイムビジュアライズ&ルックデベロップメントツール「Toolbag」 のマイナーアップデートバージョン「Toolbag 4.05」がリリースされました。V4所有ユーザーは無料アップデート可能です。

  • 4
  • 0
  • 0
続きを読む

AESUB Transparent - 3Dスキャンを補助する自然昇華(消える)...

定評のあるドイツ産の3Dスキャニングのためのスプレーシリーズ「AESUB」に透明艶消しの自然昇華タイプ「AESUB Transparent」が登場!

  • 23
  • 0
  • 0
続きを読む

Maya、3ds Max のインディー版 | AREA JAPAN | Autodesk

CommonSim-1 - AIの力で画像やアクション、テキストなどから適切な3Dコンテンツを生成するニューラル・シミュレーション・エンジンが登場!

この記事は約3分25秒で読めます

CSM(Common Sense Machines)にゆよる、画像、行動、テキストで制御するニューラル・シミュレーション・エンジン「CommonSim-1」が登場!


プロモーション

採用イベント2023 | 中途採用 SQUARE ENIX -RECRUITING-


CommonSim-1

Generative AIでは、多様な人間の経験や文化を大規模なモデルに圧縮する必要があります。実際、最近の大規模な生成モデル(Dall-E 2、StableDiffusion、Imagen、Make-A-Sceneなど)は、全く新しいイメージをゼロから作り出すという目覚ましい成果を上げている。このような流れの中で、AIシステムは、3Dモデル、長周期映像、効率的なアクションを生成することを学習する新しいクラスのシミュレータを作成することが自然な進化であると言えます。これらの技術は、ニューラルレンダリング、拡散モデル、および注意アーキテクチャの最近の進歩により、実現可能になりつつある。

Common Sense Machinesは、CommonSim-1と呼ばれるニューラル・シミュレーション・エンジンを構築しました。ユーザーやロボットは、コンテンツを作成したり、複雑なツールを操作するのに何週間も費やす代わりに、画像、アクション、テキストを通じてCommonSim-1と対話します。これらのインターフェースにより、写真を撮ったり、テキストで情景を描写したりするだけで、現実世界のデジタルレプリカを作成したり、新しい世界を想像したりすることができます。本日、これらのモデル機能をプレビューしています。開発者、クリエイター、研究者、その他の方々がどのような作品を作ることができるのか、今からとても楽しみです。

  • CommonSim-1: 経験から成長し適応するシミュレーター:新しいシミュレーション エンジンには、新しいインターフェイスが必要です。専用ツールの代わりに、、画像、言語、アクションで操作します。誰でもモデルにアクセスできるモバイルとウェブのインターフェース、ツールプラグインやREST API
  • 動画生成:わずか1フレームと一連の動作(カメラや体の動き)から高解像度の動画(512×512)を生成
    適切なデータがあれば、同じアーキテクチャをトレーニングして、多くの実施形態 (カメラ、ロボット、自動車など) にわたるタスクを解決できます。
  • 3Dコンテンツ生成:オブジェクトの動画をアップロードしクラウド上で処理。
    ユニバーサル3Dファイルフォーマット(obj, usdz, blend, glTFなど)やNeural Radiance Fields(NeRF)に簡単にエクスポート
  • これらの3Dアセットを既存の3Dエンジンにインポートして、シーンの合成やレンダリングが可能。ハイブリッド・レンダラー(現在Blenderに対応、今後対応予定)により、NeRFを従来の3Dアセットと合成

ニューラル言語は、像上の状況を記述するための強力な手段である。例えば、椅子の3Dモデルを持っていて、それを全く新しい環境でレンダリングしようとした場合、満足のいく結果を得るには、通常、数日から数週間かかるでしょう。テキスト・トゥ・イメージ・モデルは、このプロセスを自動化することができます。CommonSim-1で生成したメッシュやNeRFを使い、テキストプロンプトに自然言語で説明を入力すれば、新しいハイブリッドシーンを無制限に生成することができるのです。

これらのコンテンツ生成機構は、自動ラベル付けされた合成データを作成し、知覚システムを訓練するのに十分な精度と柔軟性を備えています。

ここでは、検出、セグメンテーション、6自由度ポーズトラッキングのためのエンドツーエンドのビジョンシステムの例を紹介します。このシステムは、人間が注釈を付けたデータや人間が作成したモデルを一切使わずにトレーニングされました。私たちはこれらのシステムを、食料品店、倉庫、工場、研究所、医療現場などの対象物でテストしました。

こういった3DCG制作の根本が変わってきそうだ…。
現在はアプリケーション、API、チェックポイント、コードへの早期アクセスのサインアップが可能とのこと。気になる方は是非チェックしてみてください。

リンク

Screenshot of csm.ai

プロモーション


関連記事

  1. MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model - テキストから最適な人物の3Dモーションを生成する技術!

    2022-10-05

  2. AIによるアニメ中割生成 - DeNAの「構造的生成学習」を使用したアニメの中割生成技術!

    2019-02-19

  3. Chimera Painter - GoogleがGANを使用したクリーチャー生成のアプローチとペイントツールをWeb上で公開

    2020-11-19

  4. Unity ArtEngine - AIを活用した新テクノロジー紹介!Unite Now 2020 注目講演の日本語吹替&解説動画が公開!

    2020-10-21

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/CG関連のネタ・ツール情報を
ほぼ毎日紹介します!

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR

育成講座

【2/16(木)】3DCG&テクニカルアーティスト採用セミナー | 株式会社Cygames


サイバーエージェント|イマジカデジタルスケープ共同募集:3DCGアーティスト大募集!!

Curo Inc.

GRASSHOPPER MANUFACTURE

株式会社フロム・ソフトウェア 中途採用特設ページ

3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る