Foundation Models for Music: A Survey

要約

近年、大規模言語モデル (LLM) や潜在拡散モデル (LDM) などの基礎モデル (FM) は、音楽を含むさまざまな分野に大きな影響を与えています。
この包括的なレビューでは、表現学習、生成学習、マルチモーダル学習に及ぶ、音楽における最先端 (SOTA) の事前トレーニング済みモデルと基礎モデルを検証します。
まず、さまざまな業界における音楽の重要性を文脈化し、音楽における AI の進化を追跡します。
基礎モデルが対象とするモダリティを概説することにより、音楽表現の多くが FM 開発において十分に研究されていないことがわかります。
次に、音楽の理解、生成、医療への応用における FM の可能性とともに、さまざまな音楽アプリケーションに対するこれまでの方法の汎用性の欠如が強調されます。
モデルの事前トレーニング パラダイム、アーキテクチャの選択、トークン化、微調整方法論と制御性の詳細を包括的に調査することで、命令のチューニングとコンテキスト内学習、スケーリングの法則と創発的能力など、十分に調査されるべきだった重要なトピックを強調します。
専用のセクションでは、音楽エージェントに関する洞察が示され、トレーニング前および下流タスクに不可欠なデータセットと評価の徹底的な分析が行われます。
最後に、倫理的配慮の極めて重要性を強調することで、音楽の FM に関する研究では、解釈可能性、透明性、人間の責任、著作権問題などの問題にもっと焦点を当てるべきであると主張します。
この論文は、音楽分野における人間と AI のコラボレーションの軌道を形作ることを目的として、音楽用 FM に関する将来の課題と傾向についての洞察を提供します。

要約(オリジナル)

In recent years, foundation models (FMs) such as large language models (LLMs) and latent diffusion models (LDMs) have profoundly impacted diverse sectors, including music. This comprehensive review examines state-of-the-art (SOTA) pre-trained models and foundation models in music, spanning from representation learning, generative learning and multimodal learning. We first contextualise the significance of music in various industries and trace the evolution of AI in music. By delineating the modalities targeted by foundation models, we discover many of the music representations are underexplored in FM development. Then, emphasis is placed on the lack of versatility of previous methods on diverse music applications, along with the potential of FMs in music understanding, generation and medical application. By comprehensively exploring the details of the model pre-training paradigm, architectural choices, tokenisation, finetuning methodologies and controllability, we emphasise the important topics that should have been well explored, like instruction tuning and in-context learning, scaling law and emergent ability, as well as long-sequence modelling etc. A dedicated section presents insights into music agents, accompanied by a thorough analysis of datasets and evaluations essential for pre-training and downstream tasks. Finally, by underscoring the vital importance of ethical considerations, we advocate that following research on FM for music should focus more on such issues as interpretability, transparency, human responsibility, and copyright issues. The paper offers insights into future challenges and trends on FMs for music, aiming to shape the trajectory of human-AI collaboration in the music realm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google