Continual Learning for Monolingual End-to-End Automatic Speech Recognition

要約

自動音声認識 (ASR) モデルを新しいドメインに適応させると、元のドメインのパフォーマンスが低下します。これは、破滅的忘却 (CF) と呼ばれる現象です。
単一言語の ASR モデルでさえ、CF に悩まされずに新しいアクセント、方言、トピックなどに拡張することはできず、過去のすべてのデータを保存せずに継続的に強化することはできません。
幸いなことに、CF を克服しながら継続的な適応を可能にすることを目的とした継続的学習 (CL) メソッドを使用できます。
このホワイト ペーパーでは、エンド ツー エンド ASR 用に多数の CL メソッドを実装し、単一言語ハイブリッド CTC-Transformer モデルを 4 つの新しいタスクにわたって拡張する能力をテストおよび比較します。
最高のパフォーマンスを発揮する CL メソッドは、微調整されたモデル (下限) とすべてのタスクで共同でトレーニングされたモデル (上限) の間のギャップを 40% 以上縮め、元のデータの 0.6% のみにアクセスする必要があることがわかりました。
.

要約(オリジナル)

Adapting Automatic Speech Recognition (ASR) models to new domains results in a deterioration of performance on the original domain(s), a phenomenon called Catastrophic Forgetting (CF). Even monolingual ASR models cannot be extended to new accents, dialects, topics, etc. without suffering from CF, making them unable to be continually enhanced without storing all past data. Fortunately, Continual Learning (CL) methods, which aim to enable continual adaptation while overcoming CF, can be used. In this paper, we implement an extensive number of CL methods for End-to-End ASR and test and compare their ability to extend a monolingual Hybrid CTC-Transformer model across four new tasks. We find that the best performing CL method closes the gap between the fine-tuned model (lower bound) and the model trained jointly on all tasks (upper bound) by more than 40%, while requiring access to only 0.6% of the original data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google