Imagen Video - Google ResearchによるテキストからHD 1280x768 24fpsの動画を生成する技術！サンプル動画と論文が公開！

Google Researchによるテキストプロンプトから動画を生成する技術「Imagen Video」が登場しました！

Imagen Video

我々は、ビデオ拡散モデルのカスケードに基づいて、テキスト条件付きビデオ生成システムであるイマージェン ビデオを発表する。

テキストプロンプトが与えられると、Imagen Videoはベースビデオ生成モデルと、インターリーブされた空間および時間ビデオ超解像モデルのシーケンスを用いて高解像度ビデオを生成する。

我々は、特定の解像度における完全畳み込み時間的・空間的超解像モデルの選択、拡散モデルのvパラメータ化の選択などの設計上の決定を含む、高解像度テキストからビデオへのモデルとしてシステムをスケールアップする方法について説明する。

さらに、拡散に基づく画像生成に関する先行研究の知見を確認し、ビデオ生成の設定に移行する。

最後に、高速かつ高品質なサンプリングのために、分類器不要のガイダンスとともに、ビデオモデルに漸進的蒸留を適用します。

Imagen Videoは、忠実度の高いビデオを生成できるだけでなく、高度な制御性と世界知識を持つことがわかりました。

また、3Dオブジェクトを理解し、様々な芸術的スタイルで多様なビデオやテキストアニメーションを生成する能力も備えています。

サンプルはimagen.research.google/videoをご覧ください。

リンク