Contextual Biasing of Named-Entities with Large Language Models

要約

この論文では、大規模言語モデル (LLM) を使用したコンテキスト バイアスについて研究します。LLM では、2 パス再スコアリング中に追加のコンテキスト情報が LLM に提供され、自動音声認識 (ASR) のパフォーマンスが向上します。
仮説のスコアを計算する際の追加情報として機能するバイアス リストと少数ショットの例を組み込んだ、再スコアリング中に微調整を行わずに LLM のプロンプトを活用することを提案します。
少数ショットの即時学習に加えて、エンティティ クラスと次のトークンの両方を予測する LLM のマルチタスク トレーニングを提案します。
コンテキストバイアスの効率を改善し、LLM の最大シーケンス長を超えないようにするために、クラスタグ予測を使用して最も可能性の高いクラスを選択し、次のトークン予測のコンテキストとしてこのクラスのエンティティのみを使用する動的プロンプトを提案します。
Word Error Rate (WER) 評価は、i) 内部通話、メッセージング、およびディクテーション データセット、および ii) SLUE-Voxpopuli データセットに対して実行されます。
結果は、バイアス リストと少数ショットの例では、初回パス ASR と比較して 17.8% と 9.6% の相対的な改善を達成でき、マルチタスク トレーニングと動的プロンプトではそれぞれ 20.0% と 11.3% の相対的な WER 改善が達成できることを示しています。

要約(オリジナル)

This paper studies contextual biasing with Large Language Models (LLMs), where during second-pass rescoring additional contextual information is provided to a LLM to boost Automatic Speech Recognition (ASR) performance. We propose to leverage prompts for a LLM without fine tuning during rescoring which incorporate a biasing list and few-shot examples to serve as additional information when calculating the score for the hypothesis. In addition to few-shot prompt learning, we propose multi-task training of the LLM to predict both the entity class and the next token. To improve the efficiency for contextual biasing and to avoid exceeding LLMs’ maximum sequence lengths, we propose dynamic prompting, where we select the most likely class using the class tag prediction, and only use entities in this class as contexts for next token prediction. Word Error Rate (WER) evaluation is performed on i) an internal calling, messaging, and dictation dataset, and ii) the SLUE-Voxpopuli dataset. Results indicate that biasing lists and few-shot examples can achieve 17.8% and 9.6% relative improvement compared to first pass ASR, and that multi-task training and dynamic prompting can achieve 20.0% and 11.3% relative WER improvement, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google