Supervised Hierarchical Clustering using Graph Neural Networks for Speaker Diarization

要約

話者ダイアライゼーションの従来の方法では、音声ファイルを短いセグメントにウィンドウ処理して話者の埋め込みを抽出し、続いて埋め込みの教師なしクラスタリングを行います。
このマルチステップ アプローチにより、各セグメントのスピーカー割り当てが生成されます。
この論文では、教師付きクラスタリングを実行するためにグラフニューラルネットワーク（GNN）を使用して階層構造を導入する、話者ダイアライゼーションのための新しい教師付き階層型gRaphクラスタリングアルゴリズム（SHARC）を提案します。
監視により、モデルは表現を更新し、クラスタリングのパフォーマンスを直接改善できるため、ダイアライゼーションの単一ステップのアプローチが可能になります。
提案された作業では、入力セグメントの埋め込みは、ノード間の類似性スコアに対応するエッジの重みを持つグラフのノードとして扱われます。
また、埋め込みエクストラクタと GNN モデルを共同で更新して、エンドツーエンドの話者ダイアライゼーション (E2E-SHARC) を実行するアプローチも提案します。
推論中、ノード密度とエッジの存在確率を使用して階層的クラスタリングが実行され、収束するまでセグメントがマージされます。
ダイアライゼーション実験では、提案された E2E-SHARC アプローチが、AMI や Voxconverse などのベンチマーク データセットのベースライン システムに対して、それぞれ 53% および 44% の相対的な改善を達成することを示しています。

要約(オリジナル)

Conventional methods for speaker diarization involve windowing an audio file into short segments to extract speaker embeddings, followed by an unsupervised clustering of the embeddings. This multi-step approach generates speaker assignments for each segment. In this paper, we propose a novel Supervised HierArchical gRaph Clustering algorithm (SHARC) for speaker diarization where we introduce a hierarchical structure using Graph Neural Network (GNN) to perform supervised clustering. The supervision allows the model to update the representations and directly improve the clustering performance, thus enabling a single-step approach for diarization. In the proposed work, the input segment embeddings are treated as nodes of a graph with the edge weights corresponding to the similarity scores between the nodes. We also propose an approach to jointly update the embedding extractor and the GNN model to perform end-to-end speaker diarization (E2E-SHARC). During inference, the hierarchical clustering is performed using node densities and edge existence probabilities to merge the segments until convergence. In the diarization experiments, we illustrate that the proposed E2E-SHARC approach achieves 53% and 44% relative improvements over the baseline systems on benchmark datasets like AMI and Voxconverse, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google