Simple and Controllable Music Generation

要約

私たちは条件付き音楽生成のタスクに取り組みます。
圧縮された個別の音楽表現、つまりトークンの複数のストリーム上で動作する単一の言語モデル (LM) である MusicGen を紹介します。
以前の研究とは異なり、MusicGen は、効率的なトークン インターリーブ パターンを備えた単一ステージのトランスフォーマー LM で構成されており、階層的またはアップサンプリングなど、複数のモデルをカスケード接続する必要がありません。
このアプローチに従って、MusicGen がテキストの説明やメロディーの特徴に応じて高品質のサンプルを生成し、生成された出力をより適切に制御できるようにする方法を示します。
私たちは自動研究と人間による研究の両方を考慮して広範な実証的評価を実施し、提案されたアプローチが標準的なテキストから音楽へのベンチマークで評価されたベースラインよりも優れていることを示しています。
アブレーション研究を通じて、私たちは MusicGen を構成する各コンポーネントの重要性を明らかにしました。
音楽のサンプル、コード、モデルは https://github.com/facebookresearch/audiocraft で入手できます。

要約(オリジナル)

We tackle the task of conditional music generation. We introduce MusicGen, a single Language Model (LM) that operates over several streams of compressed discrete music representation, i.e., tokens. Unlike prior work, MusicGen is comprised of a single-stage transformer LM together with efficient token interleaving patterns, which eliminates the need for cascading several models, e.g., hierarchically or upsampling. Following this approach, we demonstrate how MusicGen can generate high-quality samples, while being conditioned on textual description or melodic features, allowing better controls over the generated output. We conduct extensive empirical evaluation, considering both automatic and human studies, showing the proposed approach is superior to the evaluated baselines on a standard text-to-music benchmark. Through ablation studies, we shed light over the importance of each of the components comprising MusicGen. Music samples, code, and models are available at https://github.com/facebookresearch/audiocraft.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google