High-Resolution Neural Face Swapping for Visual Effects - ディズニー・リサーチによるVFX向け高解像度顔面入れ替え技術

ディズニーの研究開発部門「ディズニー・リサーチ（Disney Research）」による「High-Resolution Neural Face Swapping for Visual Effects（ビジュアルエフェクトの為のための高解像度のニューラルフェイススワッピング）」
EGSR(Eurographics Symposium on Rendering)2020 技術論文

この論文では、画像とビデオにおける完全自動神経顔交換のためのアルゴリズムを提案します。私たちの知る限りでは、これはメガピクセルの解像度で写実的で時間的にコヒーレントな結果をレンダリングできる最初の方法です。この目的のために、漸進的に訓練されたマルチウェイコームネットワークと、光とコントラストを維持するブレンド方法を紹介します。また、プログレッシブトレーニングでは高解像度の画像を生成できますが、アーキテクチャとトレーニングデータを2人以上に拡張すると、生成された式の忠実度を高めることができます。生成された表情をターゲットの顔に合成するとき、ブレンド戦略を適用してコントラストと低周波のライティングを維持する方法を示します。最後に、高解像度ビデオでの作業に不可欠な時間的安定性を達成するために、顔のランドマーク安定化アルゴリズムに改良戦略を組み込みます。広範なアブレーション研究を実施して、スワップの品質に対する設計の選択の影響を示し、私たちの作業を一般的な最先端の方法と比較します。

これはもうしれっと映画などで実用化されている可能性が高そうですね。
素晴らしい…

リンク

High-Resolution Neural Face Swapping for Visual Effects | Disney Research Studios