MusicLM - Googleがテキストから音楽を生成するAIモデルを発表！

Googleの研究チームが自動作曲AI「MusicLM」を開発し情報公開しました。

MusicLM

概要

「歪んだギターリフに支えられた落ち着いたバイオリンの旋律」といったテキスト記述から、高忠実度の音楽を生成するモデル、MusicLMを紹介する。MusicLMは、条件付き音楽生成プロセスを階層的な配列間モデリングタスクとして捉え、24kHzで数分間に渡って一貫性のある音楽を生成する。実験により、MusicLMは音質とテキスト記述の遵守の両方において、従来のシステムを凌駕することが示された。さらに、MusicLMはテキストとメロディの両方を条件とすることができ、テキストのキャプションに記述されたスタイルに従って口笛や鼻歌のメロディを変換することができることを実証している。今後の研究を支援するため、我々は5.5kの音楽とテキストのペアからなるデータセット、MusicCapsを一般に公開する。

リンク