FactorMatte: Redefining Video Matting for Re-Composition Tasks：動画から要素を分解する新技術論文！

コーネル大学による、動画から要素を分解する新技術論文「FactorMatte」が公開されています。

FactorMatte: Redefining Video Matting for Re-Composition Tasks

FactorMatteは、モノが「見えない」反実仮想的な世界を作り出します。

我々は、ビデオマッティング問題の代替定式化として、再構成タスクに適した、反実仮想的なビデオ合成のファクターマッティングを提案する。ファクターマッティングの目的は、ビデオのコンテンツを独立したコンポーネントに分離し、それぞれが他のコンポーネントのコンテンツが除去されたシーンの反実仮想バージョンを視覚化することである。我々は、ファクターマット処理が、レイヤー間の複雑な条件付き相互作用を考慮したマット処理問題のより一般的なベイズフレームにうまく対応することを示す。この観察に基づき、我々は、水しぶき、影、反射のような複雑なレイヤー間の相互作用を持つ映像に対しても有用な分解を生成するファクターマット問題の解決方法を提示する。

本手法は映像ごとに学習するため、外部の大規模データセットに対する事前学習や、シーンの3次元構造に関する知識は不要である。我々は広範な実験を行い、我々の手法が複雑な相互作用のあるシーンを分離できるだけでなく、古典的なビデオマットや背景減算などの既存のタスクの上位手法を凌駕することを示す。さらに、様々な下流タスクにおいて、我々のアプローチの利点を実証する。

解説映像

リンク