Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition

要約

音声認識出力スコアリングのための低ランク適応 (LoRA) に基づく神経言語モデリング システムを提案します。
BERT のような事前トレーニング済み言語モデル (LM) は、2 パスのスコアリングで優れたパフォーマンスを示していますが、事前トレーニング段階をスケールアップし、事前トレーニング済みモデルを特定のドメインに適応させるための計算コストが高いため、再スコアリングでの実際の使用は制限されます。
ここでは、低ランク分解に基づいて、再スコアリング BERT モデルをトレーニングし、事前トレーニングされたパラメーターの一部 (0.08%) のみを使用してそれを新しいドメインに適応させる方法を紹介します。
これらの挿入された行列は、相関ベースの正則化損失とともに、識別トレーニング目標を通じて最適化されます。
提案された低ランク適応 Rescore-BERT (LoRB) アーキテクチャは、LibriSpeech と内部データセットで評価され、トレーニング時間が 5.4 ～ 3.6 の係数で短縮されます。

要約(オリジナル)

We propose a neural language modeling system based on low-rank adaptation (LoRA) for speech recognition output rescoring. Although pretrained language models (LMs) like BERT have shown superior performance in second-pass rescoring, the high computational cost of scaling up the pretraining stage and adapting the pretrained models to specific domains limit their practical use in rescoring. Here we present a method based on low-rank decomposition to train a rescoring BERT model and adapt it to new domains using only a fraction (0.08%) of the pretrained parameters. These inserted matrices are optimized through a discriminative training objective along with a correlation-based regularization loss. The proposed low-rank adaptation Rescore-BERT (LoRB) architecture is evaluated on LibriSpeech and internal datasets with decreased training times by factors between 5.4 and 3.6.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google