SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

要約

テキストからソングの世代、テキスト入力からボーカルと伴奏を作成するタスクは、ドメインの複雑さとデータ不足のために大きな課題をもたらします。
既存のアプローチでは、多くの場合、多段階の生成手順を採用しているため、面倒なトレーニングと推論パイプラインが生じます。
この論文では、制御可能な歌の生成向けに設計された完全にオープンソースの単一ステージの自動回帰トランスであるSonggenを提案します。
提案されたモデルは、楽器、ジャンル、ムード、音色の歌詞やテキストの説明を含む、多様な音楽属性に対するきめの細かい制御を促進すると同時に、音声クローニングのためのオプションの3秒の参照クリップも提供します。
統一された自動回帰フレームワーク内で、SongGenは2つの出力モードをサポートします。これにより、ボーカルと伴奏の混合を直接生成する混合モードと、ダウンストリームアプリケーションの柔軟性を高めるために個別に合成するデュアルトラックモードです。
各モードの多様なトークンパターン戦略を調査し、顕著な改善と貴重な洞察をもたらします。
さらに、効果的な品質制御を備えた自動データの前処理パイプラインを設計します。
コミュニティのエンゲージメントと将来の研究を促進するために、モデルの重み、トレーニングコード、注釈付きデータ、プリプロシングパイプラインをリリースします。
生成されたサンプルは、https://liuzh-19.github.io/songgen/のプロジェクトページで紹介され、コードはhttps://github.com/liuzh-19/songgenで入手できます。

要約(オリジナル)

Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google