End-to-End Integration of Speech Separation and Voice Activity Detection for Low-Latency Diarization of Telephone Conversations

要約

最近の研究は、主に音声分離の最近の進歩のおかげで、音声分離誘導ダイアライゼーション (SSGD) がますます有望な方向性であることを示しています。
最初に話者を分離し、次に分離された各ストリームに音声アクティビティ検出 (VAD) を適用することにより、ダイアライゼーションを実行します。
この作業では、主に低遅延のストリーミング ダイアライゼーション アプリケーションに焦点を当てて、会話型電話音声 (CTS) ドメインで SSGD の詳細な研究を行います。
3 つの最先端の音声分離 (SSep) アルゴリズムを検討し、非因果実装と因果実装、および連続 SSep (CSS) ウィンドウ推論を考慮して、オンラインとオフラインの両方のシナリオでそれらのパフォーマンスを研究します。
広く使用されている 2 つの CTS データセットである CALLHOME と Fisher Corpus (パート 1 および 2) で異なる SSGD アルゴリズムを比較し、分離とダイアライゼーションの両方のパフォーマンスを評価します。
パフォーマンスを向上させるために、新規で因果的で計算効率の高い漏れ除去アルゴリズムが提案され、誤報が大幅に減少します。
また、SSep と VAD モジュール間の完全なエンド ツー エンドの SSGD 統合を初めて調査します。
重要なことに、これにより、オラクルのスピーカーのソースが利用できない実世界のデータの微調整が可能になります。
特に、私たちの最良のモデルは CALLHOME で 8.8% DER を達成しています。
、0.1 対 1 秒。
最後に、分離された信号は自動音声認識にも容易に使用でき、一部の構成ではオラクル ソースを使用する場合に近いパフォーマンスに達することも示します。

要約(オリジナル)

Recent works show that speech separation guided diarization (SSGD) is an increasingly promising direction, mainly thanks to the recent progress in speech separation. It performs diarization by first separating the speakers and then applying voice activity detection (VAD) on each separated stream. In this work we conduct an in-depth study of SSGD in the conversational telephone speech (CTS) domain, focusing mainly on low-latency streaming diarization applications. We consider three state-of-the-art speech separation (SSep) algorithms and study their performance both in online and offline scenarios, considering non-causal and causal implementations as well as continuous SSep (CSS) windowed inference. We compare different SSGD algorithms on two widely used CTS datasets: CALLHOME and Fisher Corpus (Part 1 and 2) and evaluate both separation and diarization performance. To improve performance, a novel, causal and computationally efficient leakage removal algorithm is proposed, which significantly decreases false alarms. We also explore, for the first time, fully end-to-end SSGD integration between SSep and VAD modules. Crucially, this enables fine-tuning on real-world data for which oracle speakers sources are not available. In particular, our best model achieves 8.8% DER on CALLHOME, which outperforms the current state-of-the-art end-to-end neural diarization model, despite being trained on an order of magnitude less data and having significantly lower latency, i.e., 0.1 vs. 1 seconds. Finally, we also show that the separated signals can be readily used also for automatic speech recognition, reaching performance close to using oracle sources in some configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google