Cornell TechのWenqi Xian氏、バージニア工科大学のJia-Bin Huang氏、FacebookのJohannes Kopf氏とChangil Kim氏らによる、単一視点の動画から破綻を抑えて3D空間を取り込むための技術「Space-Time Neural Irradiance Fields for Free-Viewpoint Video」の動画とプロジェクトページが公開されています。
Space-Time Neural Irradiance Fields for Free-Viewpoint Video
概要
Space-time Neural Irradiance Fields for Free-Viewpoint Video
単一のビデオから動的シーンの時空間神経放射照度フィールドを学習する方法を提示します。学習した表現により、入力ビデオの自由な視点でのレンダリングが可能になります。私たちの方法は、暗黙の表現における最近の進歩に基づいています。単一のビデオから時空間放射照度フィールドを学習することは、ビデオが任意の時点でシーンの1つの観測のみを含むため、重大な課題をもたらします。シーンの3Dジオメトリは、さまざまなジオメトリ（モーション）をさまざまな外観で説明できるため、さまざまな方法で合法的に表現できます。その逆も同様です。ビデオ深度推定方法から推定されたシーン深度を使用して動的シーン表現の時間変化するジオメトリを制約し、個々のフレームのコンテンツを単一のグローバル表現に集約することによって、このあいまいさに対処します。
プロジェクトページでは、他の結果と比較して確認出来るようになっています。
これははやく使ってみたい技術ですね。
リンク
Space-time Neural Irradiance Fields for Free-Viewpoint Video
コメント