Pre-trained Spatial Priors on Multichannel NMF for Music Source Separation

要約

この論文では、録音セットアップ中に取得された空間情報を活用した音源分離への新しいアプローチを紹介します。
私たちの方法では、ソロ パッセージを使用して空間ミキシング フィルターをトレーニングし、各センサー位置での部屋のインパルス応答とトランスデューサー応答に関する情報をキャプチャします。
この事前トレーニングされたフィルターは、さまざまな音源の分散をより適切に捕捉するために、マルチチャネル非負行列因数分解 (MNMF) スキームに統合されます。
私たちの実験で使用した録音セットアップは、メイン マイクと、オーケストラの各セクションに近い「カーディオイド」または「スーパーカーディオイド」マイクを使用した、オーケストラ録音の一般的なセットアップです。
これにより、提案された方法が多くの既存の録音に適用可能になります。
ポリフォニックアンサンブルの実験では、個々の音源を分離する際の提案されたフレームワークの有効性が実証され、従来の MNMF 方法と比較してパフォーマンスが向上します。

要約(オリジナル)

This paper presents a novel approach to sound source separation that leverages spatial information obtained during the recording setup. Our method trains a spatial mixing filter using solo passages to capture information about the room impulse response and transducer response at each sensor location. This pre-trained filter is then integrated into a multichannel non-negative matrix factorization (MNMF) scheme to better capture the variances of different sound sources. The recording setup used in our experiments is the typical setup for orchestra recordings, with a main microphone and a close ‘cardioid’ or ‘supercardioid’ microphone for each section of the orchestra. This makes the proposed method applicable to many existing recordings. Experiments on polyphonic ensembles demonstrate the effectiveness of the proposed framework in separating individual sound sources, improving performance compared to conventional MNMF methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google