Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures

要約

この論文では、音楽幹の検索のタスクに取り組みます。
音楽ミックスが与えられると、それに適合するステム、つまり一緒に演奏すると心地よく聞こえるステムを検索することから始まります。
そのために、共同埋め込み予測アーキテクチャに基づく新しい手法を導入します。この手法では、エンコーダーと予測子が共同でトレーニングされて、コンテキストの潜在表現を生成し、ターゲットの潜在表現を予測します。
特に、任意の機器に条件付けされるように予測子を設計し、モデルがゼロショット ステム検索を実行できるようにします。
さらに、対照学習を使用してエンコーダーを事前トレーニングすると、モデルのパフォーマンスが大幅に向上することがわかりました。
MUSDB18 および MoisesDB データセットを使用してモデルの検索パフォーマンスを検証します。
両方のデータセットで以前のベースラインを大幅に上回るパフォーマンスを示し、多かれ少なかれ正確な (そしておそらくは目に見えない) コンディショニングをサポートする能力を示しています。
また、ビート追跡タスクで学習された埋め込みを評価し、それらが時間構造とローカル情報を保持していることを示します。

要約(オリジナル)

In this paper, we tackle the task of musical stem retrieval. Given a musical mix, it consists in retrieving a stem that would fit with it, i.e., that would sound pleasant if played together. To do so, we introduce a new method based on Joint-Embedding Predictive Architectures, where an encoder and a predictor are jointly trained to produce latent representations of a context and predict latent representations of a target. In particular, we design our predictor to be conditioned on arbitrary instruments, enabling our model to perform zero-shot stem retrieval. In addition, we discover that pretraining the encoder using contrastive learning drastically improves the model’s performance. We validate the retrieval performances of our model using the MUSDB18 and MoisesDB datasets. We show that it significantly outperforms previous baselines on both datasets, showcasing its ability to support more or less precise (and possibly unseen) conditioning. We also evaluate the learned embeddings on a beat tracking task, demonstrating that they retain temporal structure and local information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google