Continuously Learning New Words in Automatic Speech Recognition

要約

最近の進歩にもかかわらず、自動音声認識（ASR）システムはまだ完全ではありません。
典型的なエラーには、頭字語、名前付きエンティティ、およびラベル付きデータがほとんどまたはまったくないドメイン固有の特別な単語が含まれます。
これらの単語を認識する問題に対処するために、自己監視された継続的な学習アプローチを提案します。対応するスライドとの講義講演の音声を考えると、メモリ強化されたASRモデルを使用してスライドからの新しい単語を解読するためのモデルにバイアスをかけます
文献から。
次に、講演に推論を実行し、適応データセットに検出された新しい単語を含む発話を収集します。
その後、このデータセットのモデルに追加された適応の重みをトレーニングすることにより、継続的な学習が実行されます。
全体の手順は、多くの講演で繰り返されます。
このアプローチでは、モデルの一般的なパフォーマンスを維持しながら、より頻繁に発生したときに新しい単語のパフォーマンスが増加することを示します。

要約(オリジナル)

Despite recent advances, Automatic Speech Recognition (ASR) systems are still far from perfect. Typical errors include acronyms, named entities, and domain-specific special words for which little or no labeled data is available. To address the problem of recognizing these words, we propose a self-supervised continual learning approach: Given the audio of a lecture talk with the corresponding slides, we bias the model towards decoding new words from the slides by using a memory-enhanced ASR model from the literature. Then, we perform inference on the talk, collecting utterances that contain detected new words into an adaptation data set. Continual learning is then performed by training adaptation weights added to the model on this data set. The whole procedure is iterated for many talks. We show that with this approach, we obtain increasing performance on the new words when they occur more frequently (more than 80% recall) while preserving the general performance of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google