※6/27リアル開催※【3Dスクランブル】著名なHoudiniアーティスト登壇イベント | CyberAgent

Luma Dream Machine - Luma AIから突如高品質な動画生成...

Luma AIから突如動画生成AIサービス「Dream Machine」が発表されました!現在誰でも無料でお試し可能です!

続きを読む

Day 3 FREE Blender gifts - 10th birthday...

Blender関連アドオンやアセットの販売でおなじみ「Blender Market」が10歳のお誕生日!10日間連続のBlender関連ギフトを配布!3日目はAIアシスタント(OpenAI、Gemini、Claude)追加アドオン「Chat Companion」が無料配布されました!

続きを読む

VR Motion Capture v1 Early Adopter Editi...

Freebird XRによるVRデバイスを使用しオブジェクトの動きをアニメーションさせることが出来るBlenderアドオン「VR Motion Capture」がリリースされました!

続きを読む

Day 2 FREE Blender gifts - 10th birthday...

Blender関連アドオンやアセットの販売でおなじみ「Blender Market」が10歳のお誕生日!10日間連続のBlender関連ギフトを配布!2日目は群衆制御アドオン「Population」が無料配布されました!

続きを読む

Diversion - 最大10人で100GBまで無料のバージョン管理システム!...

「Diversion」というバージョン管理システムはご存知ですか?最近Unreal Engine 5対応プラグインが登場したみいたいですよ。そして最大10人まで100GBのストレージが無料とか!

続きを読む

Maya 2024 | 製品概要と購入 | Autodesk 公式

Cyanpuppets - 2台のカメラ映像からAI技術でマーカーレス人物フルボディ&フェイシャル&ハンドモーションを遅延0.1秒でUEやUnityなどとリアルタイム連携可能なソリューションが9月に全世界向けに登場予定!1回1ドルで使用可能!

この記事は約5分10秒で読めます

中国のGuangzhou Cyan Puppet Information TechnologyによるAIを活用したマーカーレスフルボディモーションキャプチャーソリューション「Cyanpuppets」が2023年9月に全世界向けにリリース予定です!


プロモーション

CGWORLD JAM ONLINE 2024


Cyanpuppets

Cyanpuppetsのパーソナル・バージョンとプロフェッショナル・バージョンは、まもなく全世界で予約受付を開始します。
Cyanpuppetsは、最先端のAI画像アルゴリズム技術とリアルタイムレンダリングプラットフォームツールを誇り、独自のAIモデルアーキテクチャを開発するために、畳み込みニューラルネットワークとディープニューラルネットワークアルゴリズムを中核とする人工知能企業として位置づけられています。このアーキテクチャは、仮想世界と現実世界の間の協調的な相互作用を可能にします。

自社開発のCYAN.AIプラットフォームとエヌビディアのGPUコンピューティングパワーを活用することで、2D動画から3Dモーションデータへの変換を実現しています。このプラットフォームは、顔、指、全身を含むリアルタイムのモーションデータを生成する機能を備えており、空間における人間の動きの3次元的な自由度を実現します。AIモーション生成技術、バーチャルインタラクション技術、3Dアニメーション制作ツール、3D空間プリビジュアライゼーション技術をグローバルユーザーに提供しています。

現在までに、Tencent Games、Bilibili、Perfect World、Kuaishou Technology、Tsinghua University、Peking University、Southern University of Scienceand Technology、Oriental TV、Mango Vision、China Electronics Groupなど、累計100社のクライアントにサービスを提供しています。

中国語バージョンは既に2ヶ月前から、中国でオンライン化されており有名企業がサービスを利用しているそうです。

パフォーマンス

CYAN.AI の中核は、畳み込みニューラル ネットワーク (CNN) およびディープ ニューラル ネットワーク (DNN) アルゴリズムにあり、モーション キャプチャ機能のスムージング、画像認識におけるマルチオブジェクト コラボレーション、空間検出と位置決め、リダイレクトなど、他のさまざまなアルゴリズムによって補完されます。これらの強力なマーカーレス モーション キャプチャ アルゴリズムは、高い精度とパフォーマンスを提供します。

  • フィンガー:21点
  • ボディ:33点
  • フェイシャル:140点
  • フレームレート:30-50 FPS
  • レイテンシー:≤0.1秒
  • 3Dマップ:70以上
  • スケルトンポイント:208
  • 最小四肢誤差:1cm
  • 最大四肢誤差:5cm
  • 平均四肢誤差:<3cm

なかなかの精度ですよ

骨格システム

合成データアルゴリズムを利用して、UE5 Metahuman、Unreal Skeleton Asset、Daz、CC、Iclone、Unityアバター、VRM、MMDなどの人気モデルの骨格システムにマッチし、マッピングする全く新しい骨格システムを開発。

3DmaxBiped、MayaHumanIK、MayaADV、DAZ、MMD、VRM、Mixamoなどのスケルトンシステムもリアルタイムドライバでサポートされ、非常に便利な自動リダイレクトを提供。

多くのデモがUE5で動作しているのは、Cyanpuppetsへの投資機関がテンセント向けの超リアルなデジタル人物のサポートを提供するために、UE5に移行することを望んでいた為とのこと。Unityはリリース予定である9月にサポートされるそうです。

接地感もなかなか良さげじゃないですか?

Cyanpuppets Studioのv1.29では、指や顔のキャプチャ精度が大幅に改善されたそうです。

ワンクリックでFBXエクスポート

いつでもFBXデータを記録し、ボタンをタップするだけで入手可能

シンプルなソフトウェア・インターフェース

ユーザーインターフェースは驚くほどシンプルです。数回クリックするだけで、録画、再生、一時停止、早送り、巻き戻し、フレームレートの増加、フレームレートの減少、スムージング、FBXのエクスポートなどのアクションを実行できます。これにより、プロの映画スタジオで見られる品質に匹敵するリアルタイムまたはオフラインのモーションデータを得ることができます。

NVIDIA Inception、Intel® partner alliance、Unity Black Horse Program のサポート

GeForce RTX 3060のようなコンシューマーグレードのグラフィックカードで、30 FPSを超えるスムーズで安定したパフォーマンスを達成、より低遅延のデータ情報スループットとデータ画像合成を可能にします。これによりたった2台のRGBカメラで、顔、指、手足のすべてのデータをリアルタイムで、0.1秒という超低遅延のビジュアルモーションキャプチャーが実現します。

動作環境

デモの多くはGeforce RTX 3060 搭載ノートPCで動作、CUDA演算に基づいて計算を完了。
1080p 60fps グローバルシャッターRGBカメラ 、IMXまたはCMOSチップのセンサー搭載、USB3.0接続を推奨

一般的なゲーミングPCと動作条件に合うカメラ2台があれば問題なく動作しそうですね
元々Azure Kinect DKとintelのカメラを中国の顧客に適応させていた様ですが、30fpsかつローリングシャッターのカメラ環境だった為、高速で動くと映像がブレやすく、その結果、指の精度が不足してしまったとのこと。
ということで上記条件のカメラは必須になりそう。

価格帯

1回のライセンス使用料:$1
※ソフトの電源を切らなければ一度に最大24時間まで使用可能

とりあえず環境が整っていれば、1ドルだけで使用可能みたいですよ。

環境かぁ…カメラも三脚も何も無いよ…

そんな人のためにカメラや三脚、ライセンスなど込み込み2つのバージョンも用意されるそうです。
パソコンは流石に用意してね…

2つのバージョンを予定

Personal

$599 

  1. 高速グローバルシャッターRGBカメラ *2
  2. カメラ三脚 *2
  3. データケーブル *4
  4. キャリブレーションツール *2
  5. 国際航空貨物エクスプレスおよび梱包箱代
  6. 90日間のソフトウェアライセンス

Enterprise

$899 

  1. 高速グローバルシャッターRGBカメラ *3
  2. カメラ三脚 *3
  3. データケーブル * 6
  4. キャリブレーションツール *2
  5. 国際航空貨物エクスプレスおよび梱包箱代
  6. 90日間のソフトウェアライセンス

また、適切なビジネスモデルが構築できれば、将来的には1回$1のコストさえも無くし無料化する事も視野に入れているそうです。

ということで「Cyanpuppets」の全世界向けバージョン(英語版)は9月下旬に一般公開予定!
早く触ってみたいなぁ。是非公式サイトをチェックしてみてください!

リンク

Screenshot of www.cyanpuppets.com


プロモーション


関連記事

  1. Motorica - ルートの移動モーションとスタイル指定だけで自然な歩行アニメーションを生成!AI活用モーション生成ソリューション!ブラウザ上で動作する「MoGen」ベータ版&Unreal Engine 5向けプラグイン「Motorica Studio」が公開中!

    2023-08-30

  2. ActorCore - Reallusionによる高品質なヒューマンモーションプラットフォーム!無料モーションや$200相当の無料ギフトもあるよ!

    2020-12-03

  3. Greyscalegorilla Plus Assets Library - Cinema 4D界隈では有名な4,000以上のマテリアル&テクスチャ&モデル&HDRIなどを収録した高品質なライブラリ! Blender、UE5、Houdiniなどでも使用可能に!

    2023-11-08

  4. ニコニ立体 公開! - ドワンゴの3Dモデル投稿サービスが遂に始動!Unity3DやMMDモデルも投稿可!ブラウザ上でグリグリ動く美麗キャラクターに注目!

    2014-05-02

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR


採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames

   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る