Animating Pictures with Eulerian Motion Fields - １枚の静止画から流体物（水・煙など）のアニメーションするループ映像を生成する技術！

ワシントン大学のAleksander Holynski氏、Brian Curless氏、Steven M. Seitz氏と、FacebookのRichard Szeliski氏らによる、１枚の静止画から流体物のアニメーションするループ映像を生成する技術論文「Animating Pictures with Eulerian Motion Fields」が公開されています。

※2020/12/1 – 雲は作例に無いのに雲とか書いちゃってたのを削除しました。

Animating Pictures with Eulerian Motion Fields

この論文では、静止画像をリアルなアニメーションループビデオに変換するための完全自動化された方法を示します。流れる水や渦巻く煙など、継続的な流体の動きのあるシーンをターゲットにしています。私たちの方法は、このタイプの自然運動が静的オイラー運動記述、つまり、与えられた2D位置での粒子の即時運動を定義する単一の時間的に一定の流れ場から説得力を持って再現できるという観察に依存しています。画像から画像への変換ネットワークを使用して、オンラインビデオから収集された自然シーンのモーションプライアをエンコードします。これにより、新しい写真の場合、対応するモーションフィールドを合成できます。次に、画像は、ディープワーピング手法によって生成されたモーションを使用してアニメーション化されます。ピクセルはディープフィーチャとしてエンコードされ、これらのフィーチャはオイラーモーションによってワープされます。結果として生じる歪んだ特徴マップは画像としてデコードされます。連続的でシームレスにループするビデオテクスチャを生成するために、時間の前後に特徴を流し、結果をブレンドする新しいビデオループ技術を提案します。私たちは、ビーチ、滝、流れる川など、さまざまな例のコレクションに適用することで、この方法の有効性と堅牢性を示しています。

And also some pretty cool failure cases — if a class of objects aren’t seen during training, but share similar textural properties to fluids…
[6/5] pic.twitter.com/foI449oZMc

— Aleksander Holynski (@holynski_) December 1, 2020

似たような事をする画像加工アプリとは別次元の精度になっています。

この技術をテクスチャ生成とかに使えると良さそうですね。
記事公開時点ではソースコードは未公開ですが、
気になる方はプロジェクトページをご確認ください。

リンク

Animating Pictures with Eulerian Motion Fields