Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects

要約

タイトル：音楽ミキシングスタイルの転送：対比学習アプローチによるオーディオエフェクトの分離

要約：
– 入力マルチトラックのミキシングスタイルをリファレンス曲のスタイルに変換するエンドツーエンドの音楽ミキシングスタイル転送システムを提案する。
– リファレンス曲から音響効果に関連する情報のみを抽出するために、対比的目的で事前学習されたエンコーダを使用する。
– すべてのモデルは、効果的なデータ前処理方法を使ってすでに処理されたウェットマルチトラックデータセットから自己教師ありの方法でトレーニングされているため、未処理のドライデータを取得するデータの希少性を緩和する。
– 音響効果の分離能力のために提案されたエンコーダを分析し、客観評価と主観評価の両方でミキシングスタイルの転送のパフォーマンスを検証する。
– 結果から、提案されたシステムはマルチトラックオーディオのミキシングスタイルをリファレンスに近づけるだけでなく、音楽ソース分離モデルを使用することでミックス別のスタイル転送にも堅牢であることが示される。

要約(オリジナル)

We propose an end-to-end music mixing style transfer system that converts the mixing style of an input multitrack to that of a reference song. This is achieved with an encoder pre-trained with a contrastive objective to extract only audio effects related information from a reference music recording. All our models are trained in a self-supervised manner from an already-processed wet multitrack dataset with an effective data preprocessing method that alleviates the data scarcity of obtaining unprocessed dry data. We analyze the proposed encoder for the disentanglement capability of audio effects and also validate its performance for mixing style transfer through both objective and subjective evaluations. From the results, we show the proposed system not only converts the mixing style of multitrack audio close to a reference but is also robust with mixture-wise style transfer upon using a music source separation model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI