Stem-JEPA: A Joint-Embedding Predictive Architecture for Musical Stem Compatibility Estimation

要約

この論文では、特定の音楽コンテキストとよく調和する単一の楽器の音声録音を特定することにより、ステムの互換性を判断する自動化プロセスを検討します。
この課題に取り組むために、自己教師あり学習アプローチを使用してマルチトラック データセットでトレーニングされた新しい結合埋め込み予測アーキテクチャ (JEPA) である Stem-JEPA を紹介します。
私たちのモデルは、エンコーダーとプレディクターという 2 つのネットワークで構成されており、これらは、特定のコンテキスト (通常は複数の機器の組み合わせ) のエンベディングから互換性のあるステムのエンベディングを予測するために共同でトレーニングされます。
この方法でモデルをトレーニングすると、ステムの互換性の推定 (特定のミックスに一致するステムの取得、位置合わせ、生成) や、トレーニング パラダイムではモデルが関連情報を学習する必要があるため、ジャンルやキーの推定などの下流タスクに使用できるようになります。
音色、ハーモニー、リズム。
MUDB18 データセットの検索タスクにおけるモデルのパフォーマンスを評価し、ミックスから欠落しているステムを見つける能力をユーザーの主観的な調査を通じてテストします。
また、学習されたエンベディングが時間的アライメント情報を捕捉し、最後にいくつかの下流タスクでモデルによって学習された表現を評価することも示し、意味のある音楽的特徴を効果的に捕捉することを強調します。

要約(オリジナル)

This paper explores the automated process of determining stem compatibility by identifying audio recordings of single instruments that blend well with a given musical context. To tackle this challenge, we present Stem-JEPA, a novel Joint-Embedding Predictive Architecture (JEPA) trained on a multi-track dataset using a self-supervised learning approach. Our model comprises two networks: an encoder and a predictor, which are jointly trained to predict the embeddings of compatible stems from the embeddings of a given context, typically a mix of several instruments. Training a model in this manner allows its use in estimating stem compatibility – retrieving, aligning, or generating a stem to match a given mix – or for downstream tasks such as genre or key estimation, as the training paradigm requires the model to learn information related to timbre, harmony, and rhythm. We evaluate our model’s performance on a retrieval task on the MUSDB18 dataset, testing its ability to find the missing stem from a mix and through a subjective user study. We also show that the learned embeddings capture temporal alignment information and, finally, evaluate the representations learned by our model on several downstream tasks, highlighting that they effectively capture meaningful musical features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google