MedleyVox: An Evaluation Dataset for Multiple Singing Voices Separation

要約

タイトル：MedleyVox：複数の歌声分離の評価データセット

要約：

– 複数の歌声を分離する研究はまだ行われておらず、進展を妨げている要因の一つは、ベンチマーク・データセットが存在しないことである。
– 本論文では、複数の歌声分離のための評価データセットを提供し、ベースライン・スタディを提供する。
– MedleyVoxという評価データセットを特定し、このデータセットの問題定義を、i）ユニゾン、ii）デュエット、iii）メインvs.レスト、iv）N-歌声分離に分類することで紹介する。
– 存在する複数の歌声をトレーニングするためのデータセットが不足しているため、「単一の歌声データセットを使用して複数の歌声混合物を構築する方法」を提案する。
– 第三に、改良された超解像度ネットワーク（iSRNet）を提案し、分離ネットワークの初期推定値を大幅に向上させる。iSRNetは、Conv-TasNetと多数の歌声混合構築戦略と共にトレーニングされ、 MedleyVoxのデュエットとユニゾンのサブセットでは理想的な時間周波数マスクと同等のパフォーマンスを達成した。
– オーディオサンプル、データセット、コードは、https://github.com/jeonchangbin49/MedleyVoxのウェブサイトで利用可能である。

要約(オリジナル)

Separation of multiple singing voices into each voice is a rarely studied area in music source separation research. The absence of a benchmark dataset has hindered its progress. In this paper, we present an evaluation dataset and provide baseline studies for multiple singing voices separation. First, we introduce MedleyVox, an evaluation dataset for multiple singing voices separation. We specify the problem definition in this dataset by categorizing it into i) unison, ii) duet, iii) main vs. rest, and iv) N-singing separation. Second, to overcome the absence of existing multi-singing datasets for a training purpose, we present a strategy for construction of multiple singing mixtures using various single-singing datasets. Third, we propose the improved super-resolution network (iSRNet), which greatly enhances initial estimates of separation networks. Jointly trained with the Conv-TasNet and the multi-singing mixture construction strategy, the proposed iSRNet achieved comparable performance to ideal time-frequency masks on duet and unison subsets of MedleyVox. Audio samples, the dataset, and codes are available on our website (https://github.com/jeonchangbin49/MedleyVox).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI