Imagen Video - Google ResearchによるテキストからHD 1280x768 24fpsの動画を生成する技術！サンプル動画と論文が公開！

Google Researchによるテキストプロンプトから動画を生成する技術「Imagen Video」が登場しました！

Imagen Video

Excited to announce Imagen Video, our new text-conditioned video diffusion model that generates 1280×768 24fps HD videos! #ImagenVideohttps://t.co/JWj3L7MpBU
Work w/ @wchan212 @Chitwan_Saharia @jaywhang_ @RuiqiGao @agritsenko @dpkingma @poolio @mo_norouzi @fleet_dj @TimSalimans pic.twitter.com/eN81LqZW7I

— Jonathan Ho (@hojonathanho) October 5, 2022

我々は、ビデオ拡散モデルのカスケードに基づいて、テキスト条件付きビデオ生成システムであるイマージェン ビデオを発表する。

テキストプロンプトが与えられると、Imagen Videoはベースビデオ生成モデルと、インターリーブされた空間および時間ビデオ超解像モデルのシーケンスを用いて高解像度ビデオを生成する。

我々は、特定の解像度における完全畳み込み時間的・空間的超解像モデルの選択、拡散モデルのvパラメータ化の選択などの設計上の決定を含む、高解像度テキストからビデオへのモデルとしてシステムをスケールアップする方法について説明する。

さらに、拡散に基づく画像生成に関する先行研究の知見を確認し、ビデオ生成の設定に移行する。

最後に、高速かつ高品質なサンプリングのために、分類器不要のガイダンスとともに、ビデオモデルに漸進的蒸留を適用します。

Imagen Videoは、忠実度の高いビデオを生成できるだけでなく、高度な制御性と世界知識を持つことがわかりました。

また、3Dオブジェクトを理解し、様々な芸術的スタイルで多様なビデオやテキストアニメーションを生成する能力も備えています。

サンプルはimagen.research.google/videoをご覧ください。

リンク