ミュンヘン工科大学とバージニア大学の研究者らが、 不完全な実世界の3Dスキャンデータの抜けたエリアを再構築する技術アプローチ「Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow」の情報を公開しました！

Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow

我々は、シーンの補完および生成のために、不完全な実世界の3Dスキャンデータを用いて直接学習を行う、初のフローマッチングに基づく手法「Seen2Scene」を提案する。完全な（つまり合成の）3Dデータに依存する従来の方法とは異なり、本手法では可視性に基づくフローマッチングを導入し、実スキャンデータ内の未知領域を明示的にマスクすることで、実世界の不完全な観測データからの効果的な学習を可能にする。我々は、疎なグリッドにエンコードされた切り詰め符号付き距離場（TSDF）を用いて3Dシーンを表現し、疎なトランスフォーマーを採用することで、未知領域をマスクしつつ複雑なシーン構造を効率的にモデル化します。入力条件付け信号として3Dレイアウトボックスを採用しており、本手法はテキストや部分的なスキャンなど、他の様々な入力にも柔軟に適応する。Seen2Sceneは、現実世界の不完全な3Dスキャンから直接学習することで、複雑で雑多な実環境における現実的な3Dシーン補完を実現する。実験により、本モデルが首尾一貫した完全かつ現実的な3Dシーンを生成し、補完精度と生成品質においてベースライン手法を上回ることが実証された。

リンク

📢Seen2Scene

Real-world 3D is incomplete, typically requiring training on synthetic scene data.@QTDSMQ introduces visibility-guided flow matching, enabling training on real partial scans for scan completion & text-to-3D scene generation!

Check it out: https://t.co/jqZ164QX0W pic.twitter.com/GV5Q4ZvBPj

— Angela Dai (@angelaqdai) March 31, 2026