テンセントからマルチコンディション制御による3Dアセット作成フレームワーク「Hunyuan3D-Omni」がオープンソースで発表されました！
Hunyuan3D-Omni
Hunyuan3D-Omniは、Hunyuan3D 2.1の構造を継承した、3Dアセットを制御可能に生成するための統一フレームワークです。一方、Hunyuan3D-Omniは、点群、ボクセル、スケルトン、バウンディングボックスを含む追加の制御信号を導入するために、統一された制御エンコーダを構築。業界初のマルチコンディション制御による3Dアセット作成システム「Tencent Hunyuan3D-Omni」
3Dの「ControlNet」としてオープンソースのHunyuan3D 2.1に基づいて構築され、最大4つの制御条件を統合することで、シングルビューのオクルージョンや貧弱なジオメトリに対処します。効率的なマルチモーダル融合のための軽量統合制御エンコーダーと、ロバスト性を高めるプログレッシブ難易度考慮トレーニング戦略です。✅単一画像条件下では、骨格入力はアニメーションやアバターの正確なポーズ制御を提供する。
✅点群入力（フルまたは深度投影）は、視覚的な曖昧さを取り除き、正確なフォトリアリスティックなジオメトリを生成します。
✅Bounding Boxコントロールは、L/W/H比をデザインスケールに合わせて調整します。
✅ボクセルコントロールは、エンジニアリングやクリエイティブなワークフローのためにトポロジーをスカルプトします。制御可能な3D研究と産業展開を加速するため、推論コードとウェイトをオープンソース化しています。
マルチモーダル条件制御
- バウンディングボックス制御： 3Dバウンディングボックスで制約された3Dモデルを生成
- ポーズ制御： 特定の骨格ポーズを持つ3D人体モデルの作成
- 点群制御： 入力点群によってガイドされた3Dモデルを生成します。
- ボクセルコントロール： ボクセル表現から3Dモデルを作成
Deemosのほうが先に既に似たような系統の技術発表を１年前にしていたみたいで
Xの投稿にコメントがついていますね
ふーむ
詳細はGithubページをご確認ください！
リンク
コメント