Versatile Framework for Song Generation with Prompt-based Control

要約

Song Generationは、さまざまなプロンプトに基づいて制御可能な高品質の曲の作成に焦点を当てています。
ただし、既存の方法は、迅速な制御と適切なアライメントを備えたボーカルと伴奏を生成するのに苦労しています。
さらに、それらはさまざまなタスクをサポートするのに不足しています。
これらの課題に対処するために、高品質で整列した曲をプロンプトベースのコントロールで合成するためのマルチタスクソング生成フレームワークであるVersbandを紹介します。
Versbandは、これらのプライマリモデルで構成されています。1）分離モデルであるボーカルバンドは、歌スタイル、ピッチ、メルセプレクトグラムを生成するためのフローマッチング方法を活用し、スタイルコントロールで高速で高品質のボーカル生成を可能にします。
2）フローベースの変圧器モデルであるAversbandは、バンドMOEを組み込み、品質、アライメント、および制御を向上させるために適切な専門家を選択します。
このモデルにより、ボーカルに合わせた制御可能な高品質の伴奏を生成できます。
3）歌詞用の叙情バンドとメロディー用のメロディバンドの2つの生成モデルは、包括的なマルチタスクソングジェネレーションシステムに貢献し、複数のプロンプトに基づいた広範な制御を可能にします。
実験結果は、客観的および主観的なメトリックを使用して、複数の歌の生成タスクにわたってベースラインモデルよりも優れたパフォーマンスを発揮することを示しています。
オーディオサンプルはhttps://aaronz345.github.io/versbanddemoで入手できます。

要約(オリジナル)

Song generation focuses on producing controllable high-quality songs based on various prompts. However, existing methods struggle to generate vocals and accompaniments with prompt-based control and proper alignment. Additionally, they fall short in supporting various tasks. To address these challenges, we introduce VersBand, a multi-task song generation framework for synthesizing high-quality, aligned songs with prompt-based control. VersBand comprises these primary models: 1) VocalBand, a decoupled model, leverages the flow-matching method for generating singing styles, pitches, and mel-spectrograms, allowing fast, high-quality vocal generation with style control. 2) AccompBand, a flow-based transformer model, incorporates the Band-MOE, selecting suitable experts for enhanced quality, alignment, and control. This model allows for generating controllable, high-quality accompaniments aligned with vocals. 3) Two generation models, LyricBand for lyrics and MelodyBand for melodies, contribute to the comprehensive multi-task song generation system, allowing for extensive control based on multiple prompts. Experimental results demonstrate that VersBand performs better over baseline models across multiple song generation tasks using objective and subjective metrics. Audio samples are available at https://aaronz345.github.io/VersBandDemo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google