Speech Separation based on Contrastive Learning and Deep Modularization

要約

現在のモノラルの最先端の音声分離ツールは教師あり学習に依存しています。
これは、順列問題に対処する必要があり、トレーニングと推論に使用される話者の数の不一致の影響を受けることを意味します。
さらに、そのパフォーマンスは高品質のラベル付きデータの存在に大きく依存します。
これらの問題は、音声分離に完全に教師なしの技術を採用することで効果的に対処できます。
この論文では、対照学習を使用してフレームの表現を確立し、学習した表現を下流の深いモジュール化タスクで使用します。
具体的には、音声分離において、話者のさまざまなフレームが、その話者の特定の隠れた標準フレームの拡張として見られることを実験的に示します。
話者のフレームには、音声分離の鍵となる十分な韻律情報の重複が含まれています。
これに基づいて、特定の話者に属するフレーム間の距離を最小化するように学習する自己教師あり学習を実装します。
学習された表現は、話者のアイデンティティに基づいてフレームをクラスタリングするために、下流の深いモジュール化タスクで使用されます。
開発した技術をWSJ0-2mixとWSJ0-3mixで評価したところ、WSJ0-2mixではSI-SNRi＝20.8、SDRi＝21.0を達成した。
WSJ0-3mixでは、WSJ0-2mixでそれぞれSI-SNRi20.7、SDRi20.7を達成しています。
最大の強みは、スピーカーの数が増えても、パフォーマンスが大幅に低下しないことです。

要約(オリジナル)

The current monaural state of the art tools for speech separation relies on supervised learning. This means that they must deal with permutation problem, they are impacted by the mismatch on the number of speakers used in training and inference. Moreover, their performance heavily relies on the presence of high-quality labelled data. These problems can be effectively addressed by employing a fully unsupervised technique for speech separation. In this paper, we use contrastive learning to establish the representations of frames then use the learned representations in the downstream deep modularization task. Concretely, we demonstrate experimentally that in speech separation, different frames of a speaker can be viewed as augmentations of a given hidden standard frame of that speaker. The frames of a speaker contain enough prosodic information overlap which is key in speech separation. Based on this, we implement a self-supervised learning to learn to minimize the distance between frames belonging to a given speaker. The learned representations are used in a downstream deep modularization task to cluster frames based on speaker identity. Evaluation of the developed technique on WSJ0-2mix and WSJ0-3mix shows that the technique attains SI-SNRi and SDRi of 20.8 and 21.0 respectively in WSJ0-2mix. In WSJ0-3mix, it attains SI-SNRi and SDRi of 20.7 and 20.7 respectively in WSJ0-2mix. Its greatest strength being that as the number of speakers increase, its performance does not degrade significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google