要約
自動音声認識（ASR）は、一般的な非オーバーラッピング環境では優れた性能を発揮しますが、マルチトーカーのオーバーラッピング音声認識で性能を維持することは依然として困難です。最近の研究で、ASRモデルのエンコーダーは、下層は音響的な情報、上層は言語的な情報と、層によって異なるレベルの情報を取り込んでいることが明らかになりました。このことから、我々は、2つの適切なレイヤーの間で混合音声の埋め込みを分離することで、よく訓練されたASRモデルを複数話者のシナリオに対応させるサイドカーセパレーターを開発することを思いつきました。我々は、wav2vec 2.0ベースのASRモデルにSidecarを搭載して実験した。オリジナルモデルのパラメータを凍結し、Sidecar（8.7M、全パラメータの8.4%）のみを訓練することにより、提案アプローチは、2話者混合LibriMixデータセットにおいて、単語誤り率（WER）10.36%という大きなマージンで従来の最先端を上回り、訓練を制限するとLibriSpeechMixデータセットで同等の結果（7.56%）となることが分かった。
要約(オリジナル)
Although automatic speech recognition (ASR) can perform well in common non-overlapping environments, sustaining performance in multi-talker overlapping speech recognition remains challenging. Recent research revealed that ASR model’s encoder captures different levels of information with different layers — the lower layers tend to have more acoustic information, and the upper layers more linguistic. This inspires us to develop a Sidecar separator to empower a well-trained ASR model for multi-talker scenarios by separating the mixed speech embedding between two suitable layers. We experimented with a wav2vec 2.0-based ASR model with a Sidecar mounted. By freezing the parameters of the original model and training only the Sidecar (8.7 M, 8.4% of all parameters), the proposed approach outperforms the previous state-of-the-art by a large margin for the 2-speaker mixed LibriMix dataset, reaching a word error rate (WER) of 10.36%; and obtains comparable results (7.56%) for LibriSpeechMix dataset when limited training.
arxiv情報
| 著者 | Lingwei Meng,Jiawen Kang,Mingyu Cui,Yuejiao Wang,Xixin Wu,Helen Meng |
| 発行日 | 2023-03-05 23:10:24+00:00 |
| arxivサイト | arxiv_id(pdf) |