MARBLE: Music Audio Representation Benchmark for Universal Evaluation

要約

画像生成やフィクションの共同制作など、アートと人工知能 (AI) が広範に交差する時代において、音楽用 AI、特に音楽理解の分野ではまだ比較的初期段階にあります。
これは、深い音楽表現に関する研究が限られていること、大規模なデータセットが不足していること、そして普遍的でコミュニティ主導型のベンチマークが存在しないことから明らかです。
この問題に対処するために、MARBLE と呼ばれる普遍的な評価のための音楽オーディオ表現ベンチマークを導入します。
音響、演奏、スコア、および高レベルの説明を含む 4 つの階層レベルで包括的な分類を定義することにより、さまざまな音楽情報検索 (MIR) タスクのベンチマークを提供することを目的としています。
次に、8 つの公開データセットに関する 14 のタスクに基づいた統一プロトコルを確立し、ベースラインとして音楽録音で開発されたすべてのオープンソースの事前トレーニング済みモデルの表現の公正かつ標準的な評価を提供します。
さらに、MARBLE は、データセットの著作権問題について明確な声明を出し、使いやすく、拡張可能、再現可能なスイートをコミュニティに提供します。
結果は、最近提案された大規模な事前トレーニング済み音楽言語モデルがほとんどのタスクで最高のパフォーマンスを発揮し、さらなる改善の余地があることを示唆しています。
リーダーボードとツールキットのリポジトリは、将来の音楽 AI 研究を促進するために https://marble-bm.shef.ac.uk で公開されています。

要約(オリジナル)

In the era of extensive intersection between art and Artificial Intelligence (AI), such as image generation and fiction co-creation, AI for music remains relatively nascent, particularly in music understanding. This is evident in the limited work on deep music representations, the scarcity of large-scale datasets, and the absence of a universal and community-driven benchmark. To address this issue, we introduce the Music Audio Representation Benchmark for universaL Evaluation, termed MARBLE. It aims to provide a benchmark for various Music Information Retrieval (MIR) tasks by defining a comprehensive taxonomy with four hierarchy levels, including acoustic, performance, score, and high-level description. We then establish a unified protocol based on 14 tasks on 8 public-available datasets, providing a fair and standard assessment of representations of all open-sourced pre-trained models developed on music recordings as baselines. Besides, MARBLE offers an easy-to-use, extendable, and reproducible suite for the community, with a clear statement on copyright issues on datasets. Results suggest recently proposed large-scale pre-trained musical language models perform the best in most tasks, with room for further improvement. The leaderboard and toolkit repository are published at https://marble-bm.shef.ac.uk to promote future music AI research.

arxiv情報

著者 Ruibin Yuan,Yinghao Ma,Yizhi Li,Ge Zhang,Xingran Chen,Hanzhi Yin,Le Zhuo,Yiqi Liu,Jiawen Huang,Zeyue Tian,Binyue Deng,Ningzhi Wang,Chenghua Lin,Emmanouil Benetos,Anton Ragni,Norbert Gyenge,Roger Dannenberg,Wenhu Chen,Gus Xia,Wei Xue,Si Liu,Shi Wang,Ruibo Liu,Yike Guo,Jie Fu
発行日 2023-07-12 15:40:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.SD, eess.AS パーマリンク