On the Effectiveness of Speech Self-supervised Learning for Music

要約

自己教師あり学習 (SSL) は、さまざまな音声および自然言語処理アプリケーションで有望な結果を示しています。
ただし、音楽情報検索 (MIR) におけるその有効性はまだほとんど解明されていません。
音楽録音で事前トレーニングされた以前の SSL モデルはほとんどがクローズドソースであった可能性がありますが、wav2vec2.0 などの最近の音声モデルは音楽モデリングで有望であることが示されています。
それにもかかわらず、音声 SSL モデルを音楽録音に適用する有効性を調査する研究は限られています。
私たちは、data2vec1.0 と Hubert という 2 つの特徴的な音声関連モデルを使用して SSL の音楽適応を調査し、それぞれ music2vec と musicHuBERT と呼びます。
私たちは、さまざまな事前トレーニング構成の下で 9,500 万のパラメーターを使用して 12 ドルの SSL モデルをトレーニングし、13 の異なる MIR タスクで MIR タスクのパフォーマンスを体系的に評価します。
私たちの調査結果は、音声用に設計されたパラダイムを使用してモデルがトレーニングされている場合でも、音楽データを使用したトレーニングにより一般に MIR タスクのパフォーマンスが向上することを示唆しています。
しかし、我々は、特に多声情報のモデリングにおいて、このような既存の音声指向設計の限界を認識しています。
実験結果に基づいて、将来の音楽 SSL 戦略とパラダイムを設計するための経験的な提案も提供されます。

要約(オリジナル)

Self-supervised learning (SSL) has shown promising results in various speech and natural language processing applications. However, its efficacy in music information retrieval (MIR) still remains largely unexplored. While previous SSL models pre-trained on music recordings may have been mostly closed-sourced, recent speech models such as wav2vec2.0 have shown promise in music modelling. Nevertheless, research exploring the effectiveness of applying speech SSL models to music recordings has been limited. We explore the music adaption of SSL with two distinctive speech-related models, data2vec1.0 and Hubert, and refer to them as music2vec and musicHuBERT, respectively. We train $12$ SSL models with 95M parameters under various pre-training configurations and systematically evaluate the MIR task performances with 13 different MIR tasks. Our findings suggest that training with music data can generally improve performance on MIR tasks, even when models are trained using paradigms designed for speech. However, we identify the limitations of such existing speech-oriented designs, especially in modelling polyphonic information. Based on the experimental results, empirical suggestions are also given for designing future musical SSL strategies and paradigms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google