An Effective Context-Balanced Adaptation Approach for Long-Tailed Speech Recognition

要約

エンドツーエンド (E2E) 自動音声認識 (ASR) モデルは、さまざまな商用アプリケーションの標準的な手法となっています。
ただし、現実のシナリオでは、単語分布のロングテールの性質により、E2E ASR モデルは一般的な単語ではうまく機能しますが、珍しい単語の認識では不十分になることがよくあります。
最近、コンテキスト ワード リストによって表される外部知識を E2E ASR モデルに注入するために、コンテキスト アダプター (CA) の概念が提案されました。
CA はまれな単語の認識パフォーマンスを向上させることができますが、2 つの重大なデータの不均衡の問題が残っています。
まず、トレーニング中に低頻度の単語をコンテキスト ワードとして使用する場合、これらの単語は発話中にほとんど出現しないため、高頻度の単語がコンテキスト内に存在しないため、CA は トークンに注意を向けて過剰適合する傾向があります。
リスト。
第 2 に、コンテキスト リスト自体内のロングテール分布により、依然として低頻度のコンテキスト単語に対するモデルのパフォーマンスが低下します。
これを踏まえて、私たちはコンテキスト リストを変更して異なる頻度分布を持つ単語を含めることがモデルのパフォーマンスに与える影響を詳しく調査し、同時に、シンプルかつ効果的なコンテキストバランスの取れた学習目標で CA を拡張します。
AISHELL-1 ベンチマーク データセットで行われた一連の実験では、トレーニング コーパスのすべての語彙をコンテキスト リストとして使用し、それらをバランスのとれた目標と組み合わせることで最高のパフォーマンスが得られることが示唆されており、文字誤り率 (CER) が大幅に減少することが実証されています。
ゼロショットワードのエラー率は最大 1.21%、さらに顕著に 9.44% 減少しました。

要約(オリジナル)

End-to-end (E2E) automatic speech recognition (ASR) models have become standard practice for various commercial applications. However, in real-world scenarios, the long-tailed nature of word distribution often leads E2E ASR models to perform well on common words but fall short in recognizing uncommon ones. Recently, the notion of a contextual adapter (CA) was proposed to infuse external knowledge represented by a context word list into E2E ASR models. Although CA can improve recognition performance on rare words, two crucial data imbalance problems remain. First, when using low-frequency words as context words during training, since these words rarely occur in the utterance, CA becomes prone to overfit on attending to the token due to higher-frequency words not being present in the context list. Second, the long-tailed distribution within the context list itself still causes the model to perform poorly on low-frequency context words. In light of this, we explore in-depth the impact of altering the context list to have words with different frequency distributions on model performance, and meanwhile extend CA with a simple yet effective context-balanced learning objective. A series of experiments conducted on the AISHELL-1 benchmark dataset suggests that using all vocabulary words from the training corpus as the context list and pairing them with our balanced objective yields the best performance, demonstrating a significant reduction in character error rate (CER) by up to 1.21% and a more pronounced 9.44% reduction in the error rate of zero-shot words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google