Integrating Pre-Trained Speech and Language Models for End-to-End Speech Recognition

要約

機械学習の進歩により、自動音声認識 (ASR) などのさまざまなテキストおよび音声処理タスクをエンドツーエンド (E2E) 方式で実行できるようになりました。
事前トレーニングされたモデルを利用した E2E アプローチは、トレーニング データとリソースを節約するために注目を集めています。
ただし、ASR でのアプリケーションのほとんどには、事前トレーニングされた音声モデルまたは言語モデルのいずれか 1 つだけが含まれます。
このペーパーでは、E2E ASR 用に事前トレーニングされた音声表現モデルと大規模言語モデル (LLM) を統合することを提案します。
提案されたモデルは、事前トレーニング済みモデルとブリッジ ネットワークを組み合わせることで、音響特徴抽出、音響および言語モデリングを含む ASR プロセス全体の最適化を可能にし、パラメータ効率の高いドメインなど、LLM 利用における目覚ましい発展の適用も可能にします。
適応と推論の最適化。
実験結果は、提案されたモデルが、提案された統合アプローチで強力な事前トレーニング モデルを利用することにより、最新の E2E ASR モデルと同等のパフォーマンスを達成することを示しています。

要約(オリジナル)

Advances in machine learning have made it possible to perform various text and speech processing tasks, such as automatic speech recognition (ASR), in an end-to-end (E2E) manner. E2E approaches utilizing pre-trained models are gaining attention for conserving training data and resources. However, most of their applications in ASR involve only one of either a pre-trained speech or a language model. This paper proposes integrating a pre-trained speech representation model and a large language model (LLM) for E2E ASR. The proposed model enables the optimization of the entire ASR process, including acoustic feature extraction and acoustic and language modeling, by combining pre-trained models with a bridge network and also enables the application of remarkable developments in LLM utilization, such as parameter-efficient domain adaptation and inference optimization. Experimental results demonstrate that the proposed model achieves a performance comparable to that of modern E2E ASR models by utilizing powerful pre-training models with the proposed integrated approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google