Noise2Music: Text-conditioned Music Generation with Diffusion Models

要約

Noise2Musicを紹介する。ここでは、テキストプロンプトから高品質の30秒音楽クリップを生成するために、一連の拡散モデルを学習させる。テキストを条件として中間表現を生成するジェネレータモデルと、中間表現と場合によってはテキストを条件として高忠実度のオーディオを生成するカスケーダモデルの2種類の拡散モデルが学習され、高忠実度の音楽を生成するために連続的に利用される。中間表現には、スペクトログラムを用いる方法と、より忠実度の低いオーディオを用いる方法の2つの選択肢を検討した。生成されたオーディオは、ジャンル、テンポ、楽器、ムード、時代といったテキストプロンプトの主要な要素を忠実に反映できるだけでなく、プロンプトのきめ細かなセマンティクスにまで踏み込んでいることが分かる。トレーニングセットのオーディオのペアテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用されています。 生成された例: https://google-research.github.io/noise2music

要約(オリジナル)

We introduce Noise2Music, where a series of diffusion models is trained to generate high-quality 30-second music clips from text prompts. Two types of diffusion models, a generator model, which generates an intermediate representation conditioned on text, and a cascader model, which generates high-fidelity audio conditioned on the intermediate representation and possibly the text, are trained and utilized in succession to generate high-fidelity music. We explore two options for the intermediate representation, one using a spectrogram and the other using audio with lower fidelity. We find that the generated audio is not only able to faithfully reflect key elements of the text prompt such as genre, tempo, instruments, mood, and era, but goes beyond to ground fine-grained semantics of the prompt. Pretrained large language models play a key role in this story — they are used to generate paired text for the audio of the training set and to extract embeddings of the text prompts ingested by the diffusion models. Generated examples: https://google-research.github.io/noise2music

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL