MARBLE: Music Audio Representation Benchmark for Universal Evaluation

要約

画像生成やフィクションの共同制作など、アートと人工知能 (AI) が広範に交差する時代において、音楽用 AI、特に音楽理解の分野ではまだ比較的初期段階にあります。
これは、深い音楽表現に関する研究が限られていること、大規模なデータセットが不足していること、そして普遍的でコミュニティ主導型のベンチマークが存在しないことから明らかです。
この問題に対処するために、MARBLE と呼ばれる普遍的な評価のための音楽オーディオ表現ベンチマークを導入します。
音響、演奏、スコア、および高レベルの説明を含む 4 つの階層レベルで包括的な分類を定義することにより、さまざまな音楽情報検索 (MIR) タスクのベンチマークを提供することを目的としています。
次に、8 つの公開データセットに関する 14 のタスクに基づいた統一プロトコルを確立し、ベースラインとして音楽録音で開発されたすべてのオープンソースの事前トレーニング済みモデルの表現の公正かつ標準的な評価を提供します。
さらに、MARBLE は、データセットの著作権問題について明確な声明を出し、使いやすく、拡張可能、再現可能なスイートをコミュニティに提供します。
結果は、最近提案された大規模な事前トレーニング済み音楽言語モデルがほとんどのタスクで最高のパフォーマンスを発揮し、さらなる改善の余地があることを示唆しています。
リーダーボードとツールキットのリポジトリは、将来の音楽 AI 研究を促進するために https://marble-bm.shef.ac.uk で公開されています。

要約(オリジナル)

In the era of extensive intersection between art and Artificial Intelligence (AI), such as image generation and fiction co-creation, AI for music remains relatively nascent, particularly in music understanding. This is evident in the limited work on deep music representations, the scarcity of large-scale datasets, and the absence of a universal and community-driven benchmark. To address this issue, we introduce the Music Audio Representation Benchmark for universaL Evaluation, termed MARBLE. It aims to provide a benchmark for various Music Information Retrieval (MIR) tasks by defining a comprehensive taxonomy with four hierarchy levels, including acoustic, performance, score, and high-level description. We then establish a unified protocol based on 14 tasks on 8 public-available datasets, providing a fair and standard assessment of representations of all open-sourced pre-trained models developed on music recordings as baselines. Besides, MARBLE offers an easy-to-use, extendable, and reproducible suite for the community, with a clear statement on copyright issues on datasets. Results suggest recently proposed large-scale pre-trained musical language models perform the best in most tasks, with room for further improvement. The leaderboard and toolkit repository are published at https://marble-bm.shef.ac.uk to promote future music AI research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google