Multiple Choice Learning for Efficient Speech Separation with Many Speakers

要約

教師付き設定で音声分離モデルをトレーニングすると、モデルの予測とグラウンド トゥルースの分離信号の間の最適な割り当てを見つけるという置換の問題が発生します。
この本質的に曖昧なタスクは、通常、PIT (Permutation Invariant Training) を使用して解決されます。
この記事では、代わりに多肢選択学習 (MCL) フレームワークの使用を検討します。このフレームワークは、元々は曖昧なタスクに取り組むために導入されました。
私たちは、人気のある WSJ0-mix および LibriMix ベンチマークで、MCL が計算的に有利であると同時に PIT のパフォーマンスに匹敵することを実験的に実証します。
これは、MCL を自然に拡張して、可変数の話者を処理したり、教師なし設定での音声分離に取り組むことができるため、有望な研究方向への扉を開きます。

要約(オリジナル)

Training speech separation models in the supervised setting raises a permutation problem: finding the best assignation between the model predictions and the ground truth separated signals. This inherently ambiguous task is customarily solved using Permutation Invariant Training (PIT). In this article, we instead consider using the Multiple Choice Learning (MCL) framework, which was originally introduced to tackle ambiguous tasks. We demonstrate experimentally on the popular WSJ0-mix and LibriMix benchmarks that MCL matches the performances of PIT, while being computationally advantageous. This opens the door to a promising research direction, as MCL can be naturally extended to handle a variable number of speakers, or to tackle speech separation in the unsupervised setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google