Stylizing Video by Example - フレーム補間が美しい動画へのスタイル転送技術！SIGGRAPH2019 技術論文

チェコ工科大学とAdobe Researchによる動画へのスタイル転送技術！「Stylizing Video by Example」SIGGRAPH2019 技術論文です。

スタイルの視覚的品質の維持、ユーザーの制御性、および任意のビデオへの適用性に焦点を当てて、ビデオのスタイル設定に対する新しい例に基づくアプローチを紹介します。私たちの方法は、入力としてアーティストが標準的なペイントツールでスタイル化することを選択した1つ以上のキーフレームを取得します。その後、スタイル設定をシーケンスの残りの部分に自動的に伝達します。ビジュアル品質を維持しながらこれを容易にするために、我々は最先端のパッチベース合成のための新しいタイプのガイダンスを開発しました。スタイル設定する領域のマスクを指定します。我々はさらに、テクスチャのコヒーレンス、コントラスト、および高周波数の細部を保存するキーフレーム間のスタイルを補間するための時間的ブレンディングアプローチを示す。

検証結果の映像

論文の補足ビデオ。過去技術との比較も確認出来ます。

ここ数年、この手の技術進歩が凄まじいですね。
誰でも簡単に、面白いスタイルの映像を作れるようになるのかぁ…楽しそうだなぁ。

リンク

Stylizing Video by Example