Continuously Learning New Words in Automatic Speech Recognition

要約

最近の進歩にもかかわらず、自動音声認識 (ASR) システムはまだ完璧には程遠いです。
一般的なエラーには、ラベル付きデータがほとんどまたはまったくない、頭字語、名前付きエンティティ、およびドメイン固有の特殊な単語が含まれます。
これらの単語を認識する問題に対処するために、自己教師ありの継続的学習アプローチを提案します。対応するスライドを含む講義の音声を考慮して、記憶強化された ASR モデルを使用して、スライドから新しい単語を解読するようにモデルにバイアスをかけます。
文献から。
次に、会話の推論を実行し、検出された新しい単語を含む発話を適応データセットに収集します。
次に、このデータセットのモデルに適応重みを追加してトレーニングすることにより、継続的な学習が実行されます。
この手順全体が多くのトークで繰り返されます。
このアプローチでは、モデルの全体的なパフォーマンスを維持しながら、新しい単語がより頻繁に出現するとき (再現率 80% 以上) にパフォーマンスが向上することを示します。

要約(オリジナル)

Despite recent advances, Automatic Speech Recognition (ASR) systems are still far from perfect. Typical errors include acronyms, named entities, and domain-specific special words for which little or no labeled data is available. To address the problem of recognizing these words, we propose a self-supervised continual learning approach: Given the audio of a lecture talk with the corresponding slides, we bias the model towards decoding new words from the slides by using a memory-enhanced ASR model from the literature. Then, we perform inference on the talk, collecting utterances that contain detected new words into an adaptation data set. Continual learning is then performed by training adaptation weights added to the model on this data set. The whole procedure is iterated for many talks. We show that with this approach, we obtain increasing performance on the new words when they occur more frequently (more than 80% recall) while preserving the general performance of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google