Hunyuan3D-Omni - 点群、ボクセル、スケルトン、バウンディングボックスなどを活用した業界初のマルチコンディション制御による3Dアセット作成フレームワーク！

テンセントからマルチコンディション制御による3Dアセット作成フレームワーク「Hunyuan3D-Omni」がオープンソースで発表されました！

Hunyuan3D-Omni

Hunyuan3D-Omniは、Hunyuan3D 2.1の構造を継承した、3Dアセットを制御可能に生成するための統一フレームワークです。一方、Hunyuan3D-Omniは、点群、ボクセル、スケルトン、バウンディングボックスを含む追加の制御信号を導入するために、統一された制御エンコーダを構築。業界初のマルチコンディション制御による3Dアセット作成システム「Tencent Hunyuan3D-Omni」
3Dの「ControlNet」としてオープンソースのHunyuan3D 2.1に基づいて構築され、最大4つの制御条件を統合することで、シングルビューのオクルージョンや貧弱なジオメトリに対処します。効率的なマルチモーダル融合のための軽量統合制御エンコーダーと、ロバスト性を高めるプログレッシブ難易度考慮トレーニング戦略です。

✅単一画像条件下では、骨格入力はアニメーションやアバターの正確なポーズ制御を提供する。
✅点群入力（フルまたは深度投影）は、視覚的な曖昧さを取り除き、正確なフォトリアリスティックなジオメトリを生成します。
✅Bounding Boxコントロールは、L/W/H比をデザインスケールに合わせて調整します。
✅ボクセルコントロールは、エンジニアリングやクリエイティブなワークフローのためにトポロジーをスカルプトします。

制御可能な3D研究と産業展開を加速するため、推論コードとウェイトをオープンソース化しています。

マルチモーダル条件制御

• バウンディングボックス制御： 3Dバウンディングボックスで制約された3Dモデルを生成
• ポーズ制御： 特定の骨格ポーズを持つ3D人体モデルの作成
• 点群制御： 入力点群によってガイドされた3Dモデルを生成します。
• ボクセルコントロール： ボクセル表現から3Dモデルを作成

リンク