Cyanpuppets - 2台のカメラ映像からAI技術でマーカーレス人物フルボディ＆フェイシャル＆ハンドモーションを遅延0.1秒でUEやUnityなどとリアルタイム連携可能なソリューションが9月に全世界向けに登場予定！1回1ドルで使用可能！

中国のGuangzhou Cyan Puppet Information TechnologyによるAIを活用したマーカーレスフルボディモーションキャプチャーソリューション「Cyanpuppets」が2023年9月に全世界向けにリリース予定です！

Cyanpuppets

Cyanpuppetsのパーソナル・バージョンとプロフェッショナル・バージョンは、まもなく全世界で予約受付を開始します。
Cyanpuppetsは、最先端のAI画像アルゴリズム技術とリアルタイムレンダリングプラットフォームツールを誇り、独自のAIモデルアーキテクチャを開発するために、畳み込みニューラルネットワークとディープニューラルネットワークアルゴリズムを中核とする人工知能企業として位置づけられています。このアーキテクチャは、仮想世界と現実世界の間の協調的な相互作用を可能にします。

自社開発のCYAN.AIプラットフォームとエヌビディアのGPUコンピューティングパワーを活用することで、2D動画から3Dモーションデータへの変換を実現しています。このプラットフォームは、顔、指、全身を含むリアルタイムのモーションデータを生成する機能を備えており、空間における人間の動きの3次元的な自由度を実現します。AIモーション生成技術、バーチャルインタラクション技術、3Dアニメーション制作ツール、3D空間プリビジュアライゼーション技術をグローバルユーザーに提供しています。

現在までに、Tencent Games、Bilibili、Perfect World、Kuaishou Technology、Tsinghua University、Peking University、Southern University of Scienceand Technology、Oriental TV、Mango Vision、China Electronics Groupなど、累計100社のクライアントにサービスを提供しています。

パフォーマンス

CYAN.AI の中核は、畳み込みニューラル ネットワーク (CNN) およびディープ ニューラル ネットワーク (DNN) アルゴリズムにあり、モーション キャプチャ機能のスムージング、画像認識におけるマルチオブジェクト コラボレーション、空間検出と位置決め、リダイレクトなど、他のさまざまなアルゴリズムによって補完されます。これらの強力なマーカーレス モーション キャプチャ アルゴリズムは、高い精度とパフォーマンスを提供します。

骨格システム

合成データアルゴリズムを利用して、UE5 Metahuman、Unreal Skeleton Asset、Daz、CC、Iclone、Unityアバター、VRM、MMDなどの人気モデルの骨格システムにマッチし、マッピングする全く新しい骨格システムを開発。

3DmaxBiped、MayaHumanIK、MayaADV、DAZ、MMD、VRM、Mixamoなどのスケルトンシステムもリアルタイムドライバでサポートされ、非常に便利な自動リダイレクトを提供。

ワンクリックでFBXエクスポート

いつでもFBXデータを記録し、ボタンをタップするだけで入手可能

シンプルなソフトウェア・インターフェース

ユーザーインターフェースは驚くほどシンプルです。数回クリックするだけで、録画、再生、一時停止、早送り、巻き戻し、フレームレートの増加、フレームレートの減少、スムージング、FBXのエクスポートなどのアクションを実行できます。これにより、プロの映画スタジオで見られる品質に匹敵するリアルタイムまたはオフラインのモーションデータを得ることができます。

NVIDIA Inception、Intel® partner alliance、Unity Black Horse Program のサポート

GeForce RTX 3060のようなコンシューマーグレードのグラフィックカードで、30 FPSを超えるスムーズで安定したパフォーマンスを達成、より低遅延のデータ情報スループットとデータ画像合成を可能にします。これによりたった2台のRGBカメラで、顔、指、手足のすべてのデータをリアルタイムで、0.1秒という超低遅延のビジュアルモーションキャプチャーが実現します。

動作環境

デモの多くはGeforce RTX 3060 搭載ノートPCで動作、CUDA演算に基づいて計算を完了。
1080p 60fps グローバルシャッターRGBカメラ 、IMXまたはCMOSチップのセンサー搭載、USB3.0接続を推奨

価格帯

1回のライセンス使用料：$1
※ソフトの電源を切らなければ一度に最大24時間まで使用可能

2つのバージョンを予定

リンク