MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models

要約

話者属性自動音声認識 (SA-ASR) は、音声を文字に起こしながら、対応する話者にトランスクリプトを正確に割り当てることを目的としています。
既存の方法は、多くの場合、複雑なモジュールシステムに依存したり、ジョイントモジュールの広範な微調整を必要としたりするため、適応性や全体的な効率が制限されます。
この論文では、標準的な単言語 ASR データセットのみを使用して、凍結された多言語 ASR モデルを活用して話者の属性を書き起こしに組み込む、新しいアプローチを紹介します。
私たちの方法には、追加の ASR モデルの変更を必要とせずに、弱いラベルに基づいてスピーカーの埋め込みを予測するスピーカー モジュールのトレーニングが含まれます。
重複しない単言語データのみを使用してトレーニングされているにもかかわらず、私たちのアプローチは、重複する音声を含む多様な多言語データセット全体から話者属性を効果的に抽出します。
実験結果は、強力なベースラインと比較して競争力のあるパフォーマンスを示し、モデルの堅牢性と実用的なアプリケーションの可能性を強調しています。

要約(オリジナル)

Speaker-attributed automatic speech recognition (SA-ASR) aims to transcribe speech while assigning transcripts to the corresponding speakers accurately. Existing methods often rely on complex modular systems or require extensive fine-tuning of joint modules, limiting their adaptability and general efficiency. This paper introduces a novel approach, leveraging a frozen multilingual ASR model to incorporate speaker attribution into the transcriptions, using only standard monolingual ASR datasets. Our method involves training a speaker module to predict speaker embeddings based on weak labels without requiring additional ASR model modifications. Despite being trained exclusively with non-overlapping monolingual data, our approach effectively extracts speaker attributes across diverse multilingual datasets, including those with overlapping speech. Experimental results demonstrate competitive performance compared to strong baselines, highlighting the model’s robustness and potential for practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google