中国のGuangzhou Cyan Puppet Information TechnologyによるAIを活用したマーカーレスフルボディモーションキャプチャーソリューション「Cyanpuppets」が2023年9月に全世界向けにリリース予定です！
Cyanpuppets
Cyanpuppetsのパーソナル・バージョンとプロフェッショナル・バージョンは、まもなく全世界で予約受付を開始します。
Cyanpuppetsは、最先端のAI画像アルゴリズム技術とリアルタイムレンダリングプラットフォームツールを誇り、独自のAIモデルアーキテクチャを開発するために、畳み込みニューラルネットワークとディープニューラルネットワークアルゴリズムを中核とする人工知能企業として位置づけられています。このアーキテクチャは、仮想世界と現実世界の間の協調的な相互作用を可能にします。自社開発のCYAN.AIプラットフォームとエヌビディアのGPUコンピューティングパワーを活用することで、2D動画から3Dモーションデータへの変換を実現しています。このプラットフォームは、顔、指、全身を含むリアルタイムのモーションデータを生成する機能を備えており、空間における人間の動きの3次元的な自由度を実現します。AIモーション生成技術、バーチャルインタラクション技術、3Dアニメーション制作ツール、3D空間プリビジュアライゼーション技術をグローバルユーザーに提供しています。
現在までに、Tencent Games、Bilibili、Perfect World、Kuaishou Technology、Tsinghua University、Peking University、Southern University of Scienceand Technology、Oriental TV、Mango Vision、China Electronics Groupなど、累計100社のクライアントにサービスを提供しています。
中国語バージョンは既に2ヶ月前から、中国でオンライン化されており有名企業がサービスを利用しているそうです。
パフォーマンス
CYAN.AI の中核は、畳み込みニューラル ネットワーク (CNN) およびディープ ニューラル ネットワーク (DNN) アルゴリズムにあり、モーション キャプチャ機能のスムージング、画像認識におけるマルチオブジェクト コラボレーション、空間検出と位置決め、リダイレクトなど、他のさまざまなアルゴリズムによって補完されます。これらの強力なマーカーレス モーション キャプチャ アルゴリズムは、高い精度とパフォーマンスを提供します。
- フィンガー：21点
- ボディ：33点
- フェイシャル：140点
- フレームレート：30-50 FPS
- レイテンシー：≤0.1秒
- 3Dマップ：70以上
- スケルトンポイント：208
- 最小四肢誤差：1cm
- 最大四肢誤差：5cm
- 平均四肢誤差：<3cm
なかなかの精度ですよ
骨格システム
合成データアルゴリズムを利用して、UE5 Metahuman、Unreal Skeleton Asset、Daz、CC、Iclone、Unityアバター、VRM、MMDなどの人気モデルの骨格システムにマッチし、マッピングする全く新しい骨格システムを開発。
3DmaxBiped、MayaHumanIK、MayaADV、DAZ、MMD、VRM、Mixamoなどのスケルトンシステムもリアルタイムドライバでサポートされ、非常に便利な自動リダイレクトを提供。
多くのデモがUE5で動作しているのは、Cyanpuppetsへの投資機関がテンセント向けの超リアルなデジタル人物のサポートを提供するために、UE5に移行することを望んでいた為とのこと。Unityはリリース予定である9月にサポートされるそうです。
接地感もなかなか良さげじゃないですか？
Cyanpuppets Studioのv1.29では、指や顔のキャプチャ精度が大幅に改善されたそうです。
ワンクリックでFBXエクスポート
いつでもFBXデータを記録し、ボタンをタップするだけで入手可能
シンプルなソフトウェア・インターフェース
ユーザーインターフェースは驚くほどシンプルです。数回クリックするだけで、録画、再生、一時停止、早送り、巻き戻し、フレームレートの増加、フレームレートの減少、スムージング、FBXのエクスポートなどのアクションを実行できます。これにより、プロの映画スタジオで見られる品質に匹敵するリアルタイムまたはオフラインのモーションデータを得ることができます。
NVIDIA Inception、Intel® partner alliance、Unity Black Horse Program のサポート
GeForce RTX 3060のようなコンシューマーグレードのグラフィックカードで、30 FPSを超えるスムーズで安定したパフォーマンスを達成、より低遅延のデータ情報スループットとデータ画像合成を可能にします。これによりたった2台のRGBカメラで、顔、指、手足のすべてのデータをリアルタイムで、0.1秒という超低遅延のビジュアルモーションキャプチャーが実現します。
動作環境
デモの多くはGeforce RTX 3060 搭載ノートPCで動作、CUDA演算に基づいて計算を完了。
1080p 60fps グローバルシャッターRGBカメラ 、IMXまたはCMOSチップのセンサー搭載、USB3.0接続を推奨
一般的なゲーミングPCと動作条件に合うカメラ2台があれば問題なく動作しそうですね
元々Azure Kinect DKとintelのカメラを中国の顧客に適応させていた様ですが、30fpsかつローリングシャッターのカメラ環境だった為、高速で動くと映像がブレやすく、その結果、指の精度が不足してしまったとのこと。
ということで上記条件のカメラは必須になりそう。
価格帯
1回のライセンス使用料：$1
※ソフトの電源を切らなければ一度に最大24時間まで使用可能
とりあえず環境が整っていれば、1ドルだけで使用可能みたいですよ。
環境かぁ…カメラも三脚も何も無いよ…
そんな人のためにカメラや三脚、ライセンスなど込み込み2つのバージョンも用意されるそうです。
パソコンは流石に用意してね…
2つのバージョンを予定
Personal
$599
- 高速グローバルシャッターRGBカメラ *2
- カメラ三脚 *2
- データケーブル *4
- キャリブレーションツール *2
- 国際航空貨物エクスプレスおよび梱包箱代
- 90日間のソフトウェアライセンス
Enterprise
$899
- 高速グローバルシャッターRGBカメラ *3
- カメラ三脚 *3
- データケーブル * 6
- キャリブレーションツール *2
- 国際航空貨物エクスプレスおよび梱包箱代
- 90日間のソフトウェアライセンス
また、適切なビジネスモデルが構築できれば、将来的には1回$1のコストさえも無くし無料化する事も視野に入れているそうです。
ということで「Cyanpuppets」の全世界向けバージョン（英語版）は9月下旬に一般公開予定！
早く触ってみたいなぁ。是非公式サイトをチェックしてみてください！
リンク
コメント