Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words

要約

私たちは、テキスト プロンプトで事前情報としてキーワードを提供することで文脈を認識できる、大規模言語モデル (LLM) ベースの自動音声認識 (ASR) システムを開発しています。
当社はデコーダのみのアーキテクチャを採用し、日本語と英語のテキストが大半を占めるデータセットをデコーダとして使用してゼロから事前トレーニングされた社内 LLM、PLaMo-100B を使用します。
オーディオ エンコーダとして事前トレーニング済みの Whisper エンコーダを採用し、オーディオ エンコーダからのオーディオ エンベディングはアダプタ層によってテキスト エンベディング空間に投影され、テキスト プロンプトからデコーダへの入力フォームに変換されたテキスト エンベディングと連結されます。
テキスト プロンプトで事前情報としてキーワードを提供することで、モデル アーキテクチャを変更することなく、LLM ベースの ASR システムをコンテキスト化して、入力音声内のあいまいな単語を正確に書き写すことができます。
実験結果は、デコーダにキーワードを提供すると、まれで曖昧な単語の認識パフォーマンスが大幅に向上することを示しています。

要約(オリジナル)

We develop a large language model (LLM) based automatic speech recognition (ASR) system that can be contextualized by providing keywords as prior information in text prompts. We adopt decoder-only architecture and use our in-house LLM, PLaMo-100B, pre-trained from scratch using datasets dominated by Japanese and English texts as the decoder. We adopt a pre-trained Whisper encoder as an audio encoder, and the audio embeddings from the audio encoder are projected to the text embedding space by an adapter layer and concatenated with text embeddings converted from text prompts to form inputs to the decoder. By providing keywords as prior information in the text prompts, we can contextualize our LLM-based ASR system without modifying the model architecture to transcribe ambiguous words in the input audio accurately. Experimental results demonstrate that providing keywords to the decoder can significantly improve the recognition performance of rare and ambiguous words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google