Improving Named Entity Transcription with Contextual LLM-based Revision

要約

モデリングの最近の進歩と監視されたトレーニングデータの量の増加により、自動音声認識（ASR）システムは一般的な音声で顕著なパフォーマンスを達成しました。
ただし、最先端のASRの単語エラー率（WER）は、指定されたエンティティでは高いままです。
多くの場合、指定されたエンティティは最も重要なキーワードであるため、それらを誤って認識することは、特にASRシステムが複雑なシステムのフロントエンドとして機能する場合、すべてのダウンストリームアプリケーションに影響を与える可能性があります。
この論文では、LLMの推論能力と正しい名前付きエンティティのセットを含むローカルコンテキスト（講義ノート）を活用することにより、ASR予測の誤った名前のエンティティを修正するために、大規模な言語モデル（LLM）改訂メカニズムを紹介します。
最後に、開発とテストのためにMITコースから45時間のデータを含むNER-MIT-Opencoursewareデータセットを紹介します。
このデータセットでは、提案された手法は、指定されたエンティティで最大30 \％の相対的な削減を達成します。

要約(オリジナル)

With recent advances in modeling and the increasing amount of supervised training data, automatic speech recognition (ASR) systems have achieved remarkable performance on general speech. However, the word error rate (WER) of state-of-the-art ASR remains high for named entities. Since named entities are often the most critical keywords, misrecognizing them can affect all downstream applications, especially when the ASR system functions as the front end of a complex system. In this paper, we introduce a large language model (LLM) revision mechanism to revise incorrect named entities in ASR predictions by leveraging the LLM’s reasoning ability as well as local context (e.g., lecture notes) containing a set of correct named entities. Finally, we introduce the NER-MIT-OpenCourseWare dataset, containing 45 hours of data from MIT courses for development and testing. On this dataset, our proposed technique achieves up to 30\% relative WER reduction for named entities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google