ByteDance、State Key Lab of CAD & CGｋ浙江大学の研究者らによる『DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation』という技術の紹介。

DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation

DreamSpaceは、ユーザーがテキストプロンプトで現実世界のシーンの再構成の外観をパーソナライズすることを可能にし、HMDデバイス上で没入型のVR体験を提供する。
Diffusionベースの手法は、2Dメディアの生成において顕著な成功を収めてきました。しかし、XR/VRなどの3D空間アプリケーションにおいて、シーンレベルのメッシュテクスチャリングで同様の性能を達成することは、主に3Dジオメトリの複雑な性質と没入感のある自由視点レンダリングの必要性から、依然として制約がある。本論文では、魅惑的なディテールと本物の空間的一貫性を備えたテキスト駆動型テクスチャ生成を実現する、新しい屋内シーンテクスチャリングフレームワークを提案する。重要な洞察は、まずシーンの中心視点からの様式化された360{deg}パノラマテクスチャを想像し、次にそれをインペインティングと模倣技術で残りの領域に伝播することである。シーンに対して意味のある整列されたテクスチャを保証するために、我々は、キャプチャされたシーンのジオメトリとテクスチャの手がかりの両方を考慮する、二重テクスチャ整列を用いた新しい粗から細へのパノラマテクスチャ生成アプローチを開発する。テクスチャ伝播中に乱雑な形状から生き残るために、我々は分離戦略を設計し、機密領域でテクスチャのインペインティングを行い、その後、暗黙的な模倣ネットワークを学習して、隠蔽された小さな構造領域でテクスチャを合成する。広範な実験と実際の屋内シーンでの没入型VRアプリケーションにより、生成されたテクスチャの高い品質とVRヘッドセットでの魅力的な体験が実証されている。

リンク