TOLD: A Novel Two-Stage Overlap-Aware Framework for Speaker Diarization

要約

最近、エンドツーエンドのニューラルダイアライゼーション (EEND) が導入され、話者が重複するシナリオで有望な結果が得られています。
EEND では、話者ダイアライゼーションはマルチラベル予測問題として定式化されます。この問題では、話者の活動は独立して推定され、その依存関係は十分に考慮されていません。
これらの欠点を克服するために、パワーセットエンコーディングを使用して話者ダイアライゼーションを単一ラベル分類問題として再定式化し、話者の重複と依存関係を明示的にモデル化できる重複認識 EEND (EEND-OLA) モデルを提案します。
2 段階ハイブリッド システムの成功に触発され、話者オーバーラップ認識後処理 (SOAP) モデルを関与させて、EEND のダイアライゼーション結果を反復的に改良することにより、新しい 2 段階オーバーラップ認識ダイアライゼーション フレームワーク (TOLD) をさらに提案します。
オラ。
実験結果は、元の EEND と比較して、提案された EEND-OLA は、ダイアライゼーションエラー率 (DER) に関して 14.39% の相対的な改善を達成し、SOAP の利用によりさらに 19.33% の相対的な改善が得られることを示しています。
その結果、私たちの手法 TOLD は CALLHOME データセットで 10.14% の DER を達成しました。これは、私たちの知る限り、このベンチマークにおける新しい最先端の結果です。

要約(オリジナル)

Recently, end-to-end neural diarization (EEND) is introduced and achieves promising results in speaker-overlapped scenarios. In EEND, speaker diarization is formulated as a multi-label prediction problem, where speaker activities are estimated independently and their dependency are not well considered. To overcome these disadvantages, we employ the power set encoding to reformulate speaker diarization as a single-label classification problem and propose the overlap-aware EEND (EEND-OLA) model, in which speaker overlaps and dependency can be modeled explicitly. Inspired by the success of two-stage hybrid systems, we further propose a novel Two-stage OverLap-aware Diarization framework (TOLD) by involving a speaker overlap-aware post-processing (SOAP) model to iteratively refine the diarization results of EEND-OLA. Experimental results show that, compared with the original EEND, the proposed EEND-OLA achieves a 14.39% relative improvement in terms of diarization error rates (DER), and utilizing SOAP provides another 19.33% relative improvement. As a result, our method TOLD achieves a DER of 10.14% on the CALLHOME dataset, which is a new state-of-the-art result on this benchmark to the best of our knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google