Advancing Topic Segmentation of Broadcasted Speech with Multilingual Semantic Embeddings

要約

音声ベースのトピック セグメンテーションの最近の進歩により、事前トレーニング済み音声エンコーダが音声から意味表現を直接キャプチャできる可能性が浮き彫りになりました。
従来、トピックのセグメンテーションは、自動音声認識システムのトランスクリプトが生成され、続いてテキストベースのセグメンテーション アルゴリズムが実行されるパイプライン アプローチに依存していました。
この論文では、セマンティック音声エンコーダを直接セグメンテーションに使用することで、この従来の 2 段階のプロセスをバイパスするエンドツーエンドのスキームを紹介します。
放送されたニュースの領域に焦点を当て、単一の録音内で話者やトピックが多様であるために特有の課題を引き起こし、エンドツーエンドの方法でトピックの変化点に効率的にアクセスするという課題に取り組みます。
さらに、欧州 6 言語にわたる約 1000 時間の公開録音を特徴とするデータセットを利用し、モデルのクロスドメイン パフォーマンスを言語間ゼロでテストするためのヒンディー語の評価セットを含む、話し言葉のニュース トピック セグメンテーションの新しいベンチマークを提案します。
-ショットシナリオ。
この設定は、現実世界の多様性と、さまざまな言語設定に適応するモデルの必要性を反映しています。
私たちの結果は、従来のパイプライン アプローチが英語で 0.2431 という最先端の $P_k$ スコアを達成しているのに対し、エンドツーエンド モデルは 0.2564 という競争力のある $P_k$ スコアを実現していることを示しています。
多言語でトレーニングすると、これらのスコアはそれぞれ 0.1988 と 0.2370 にさらに向上します。
さらなる研究をサポートするために、私たちはデータ準備スクリプトとともにモデルをリリースし、多言語の音声ニュースのトピック分割に関するオープンな研究を促進します。

要約(オリジナル)

Recent advancements in speech-based topic segmentation have highlighted the potential of pretrained speech encoders to capture semantic representations directly from speech. Traditionally, topic segmentation has relied on a pipeline approach in which transcripts of the automatic speech recognition systems are generated, followed by text-based segmentation algorithms. In this paper, we introduce an end-to-end scheme that bypasses this conventional two-step process by directly employing semantic speech encoders for segmentation. Focused on the broadcasted news domain, which poses unique challenges due to the diversity of speakers and topics within single recordings, we address the challenge of accessing topic change points efficiently in an end-to-end manner. Furthermore, we propose a new benchmark for spoken news topic segmentation by utilizing a dataset featuring approximately 1000 hours of publicly available recordings across six European languages and including an evaluation set in Hindi to test the model’s cross-domain performance in a cross-lingual, zero-shot scenario. This setup reflects real-world diversity and the need for models adapting to various linguistic settings. Our results demonstrate that while the traditional pipeline approach achieves a state-of-the-art $P_k$ score of 0.2431 for English, our end-to-end model delivers a competitive $P_k$ score of 0.2564. When trained multilingually, these scores further improve to 0.1988 and 0.2370, respectively. To support further research, we release our model along with data preparation scripts, facilitating open research on multilingual spoken news topic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google