Resource-constrained stereo singing voice cancellation

要約

我々は、音楽ソース分離のサブタスクであるステレオ歌声キャンセルの問題を研究します。その目的は、ステレオミックスから楽器の背景を推定することです。
私たちは、リアルタイム音声分離のための小規模で効率的なモデルから始めて、大規模な最先端の音源分離ネットワークと同様のパフォーマンスを達成する方法を模索します。
このようなモデルは、メモリとコンピューティングが制限されており、限られた先読みで歌声処理を実行する必要がある場合に役立ちます。
実際には、これは既存のモノラル モデルをステレオ入力に対応させることで実現されます。
品質の向上は、モデルパラメータを調整し、トレーニングセットを拡張することによって得られます。
さらに、チャネル間の減衰の不一致を検出する新しいメトリックを導入することによってステレオ モデルがもたらす利点を強調します。
当社のアプローチは、客観的なオフライン指標と大規模な MUSHRA 試験を使用して評価され、厳しいリスニング テストで当社の技術の有効性が確認されています。

要約(オリジナル)

We study the problem of stereo singing voice cancellation, a subtask of music source separation, whose goal is to estimate an instrumental background from a stereo mix. We explore how to achieve performance similar to large state-of-the-art source separation networks starting from a small, efficient model for real-time speech separation. Such a model is useful when memory and compute are limited and singing voice processing has to run with limited look-ahead. In practice, this is realised by adapting an existing mono model to handle stereo input. Improvements in quality are obtained by tuning model parameters and expanding the training set. Moreover, we highlight the benefits a stereo model brings by introducing a new metric which detects attenuation inconsistencies between channels. Our approach is evaluated using objective offline metrics and a large-scale MUSHRA trial, confirming the effectiveness of our techniques in stringent listening tests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google