ディズニーリサーチによるSIGGRAPH 2015技術論文「Sampling Based Scene-Space Video Processing」サンプリングベースのフレームワークによる、より高品質なノイズ除去や映像加工を実現！

Sampling Based Scene-Space Video Processing

概要

ピクセルごとの深さ情報と3Dカメラ校正が既知であれば、多くの魅力的なビデオ処理の効果を奏することができます。しかしながら、このような方法の成功は、この「シーン空間」情報の精度に大きく依存します。私たちは、ポーズ推定深さとカメラ内の不可避のエラーの存在下で高品質のシーン空間映像効果を可能にする映像を処理するための新規の、サンプリングベースのフレームワークを提示します。代わりに、明示的な3Dシーンの表現を改善しようとしているの、私たちの方法の主要なアイデアは、ほとんどのシーンポイントは、ビデオの多くのフレーム全体の可視複数回であることに起因して生じるおおよそのシーン情報の高い冗長性を利用することです。この観察に基づいて、我々は、新規画素の収集およびフィルタリング手法を提案します。収集ステップは一般的であり、フィルタリングステップは、アプリケーション固有であり、収集されたサンプルセットから所望の出力映像を計算しながら、シーン空間に画素サンプルを収集します。我々のアプローチは、簡単に並列化され、私たちは、ビデオデータの大容量をフルに活用し、標準的なデスクトップコンピュータを使用して、HDビデオに実用的な実行時間を容易にすることができ、GPU上に実装されています。我々の一般的なシーン空間製剤は、例えば、総合雑音除去、ブレ除去、超解像、物体の除去、計算シャッタ機能、およびその他のシーン空間カメラ効果などのビデオ処理アプリケーションの多くを説明することができます。私たちは、さりげなく捕捉し、様々なハンドヘルド、移動、制御されていない環境で記録された挑戦的な場面を描いた、圧縮、単眼ビデオの結果を提示します。
※Google翻訳

素晴らしいですなぁ。
深度情報もあるので、良い感じに被写界深度によるボケを実現出来てます。
手元に溜まった古い映像をこれで綺麗にしたい！

リンク

Disney Research » Sampling Based Scene Space Video Processing 

• 2015-08-07
• 技術-Technology
• SIGGRAPH合成技術映像論文