Unified Modeling of Multi-Talker Overlapped Speech Recognition and Diarization with a Sidecar Separator

要約

複数の話者の重複した音声は、音声認識と日記作成に重大な課題をもたらします。
最近の研究では、これら 2 つのタスクが相互に依存しており、補完的であることが示されており、重複する音声のコンテキストでこれら 2 つのタスクに対処するための統一モデリング手法を探求する動機となっています。
最近の研究では、凍結された十分に訓練された ASR モデルにサイドカー セパレーターを挿入することにより、シングル トーカーの自動音声認識 (ASR) システムをマルチ トーカーのシステムに変換する費用対効果の高い方法が提案されました。
これを拡張して、ダイアライゼーション ブランチをサイドカーに組み込み、わずか 768 パラメータという無視できるオーバーヘッドで ASR とダイアライゼーションの両方の統合モデリングを可能にします。
提案された方法では、LibriMix および LibriSpeechMix データセットのベースラインと比較して、より良い ASR 結果が得られます。
さらに、ダイアライゼーション タスクの高度なカスタマイズを行わなくても、我々の方法は、ほんの数回の適応ステップで CALLHOME の 2 話者のサブセットで許容可能なダイアライゼーション結果を達成します。

要約(オリジナル)

Multi-talker overlapped speech poses a significant challenge for speech recognition and diarization. Recent research indicated that these two tasks are inter-dependent and complementary, motivating us to explore a unified modeling method to address them in the context of overlapped speech. A recent study proposed a cost-effective method to convert a single-talker automatic speech recognition (ASR) system into a multi-talker one, by inserting a Sidecar separator into the frozen well-trained ASR model. Extending on this, we incorporate a diarization branch into the Sidecar, allowing for unified modeling of both ASR and diarization with a negligible overhead of only 768 parameters. The proposed method yields better ASR results compared to the baseline on LibriMix and LibriSpeechMix datasets. Moreover, without sophisticated customization on the diarization task, our method achieves acceptable diarization results on the two-speaker subset of CALLHOME with only a few adaptation steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google