Efficient Adapter Finetuning for Tail Languages in Streaming Multilingual ASR

要約

エンドツーエンドの ASR モデルは、展開が容易であり、強力な基盤モデルなどの事前トレーニングされた音声モデルの利点を活用できるため、ストリーミング多言語シナリオでよく望まれます。
一方、さまざまな言語の異質な性質と不均衡なデータ量はパフォーマンスの低下を引き起こす可能性があり、トレーニング中にさまざまな言語、特に末尾の言語で非同期のピーク パフォーマンスが発生する可能性があります。
プライバシー保護が強化された結果、データ自体が利用できなくなる場合もあります。
既存の研究では、モデルのサイズが大幅に増加するか、各言語に個別に対応するために言語固有のデコーダを学習する傾向があります。
この研究では、ストリーミング多言語 ASR の末尾言語に対する教師疑似ラベリングによって強化されたカスケード Conformer トランスデューサー フレームワークの下で、シンプルかつ効果的な言語依存アダプター (LDA) の微調整を検討します。
アダプターは言語ごとに完全なモデルの 0.4% しか占めません。
これは凍結された基礎モデルに接続されており、騒々しい学生トレーニングによる微調整プロセス中にトレーニング可能な唯一のモジュールです。
最終モデルでは、さまざまな言語のさまざまなチェックポイントからのアダプター パラメーターがマージされます。
モデルのパフォーマンスは、ラテン語、ギリシャ語、アラビア語などの 39 の末尾言語を含む、困難な多言語ディクテーション データセットで検証されています。私たちが提案した方法は、平均で 12.2%、単一ロケールで最大 37.5% の単語誤り率の削減をもたらします。
さらに、パラメーター効率の高い LDA がモデル全体の微調整の品質に匹敵するため、非同期のピーク パフォーマンスの問題が大幅に軽減されることを示します。

要約(オリジナル)

The end-to-end ASR model is often desired in the streaming multilingual scenario since it is easier to deploy and can benefit from pre-trained speech models such as powerful foundation models. Meanwhile, the heterogeneous nature and imbalanced data abundance of different languages may cause performance degradation, leading to asynchronous peak performance for different languages during training, especially on tail ones. Sometimes even the data itself may become unavailable as a result of the enhanced privacy protection. Existing work tend to significantly increase the model size or learn language-specific decoders to accommodate each language separately. In this study, we explore simple yet effective Language-Dependent Adapter (LDA) finetuning under a cascaded Conformer transducer framework enhanced by teacher pseudo-labeling for tail languages in the streaming multilingual ASR. The adapter only accounts for 0.4% of the full model per language. It is plugged into the frozen foundation model and is the only trainable module during the finetuning process with noisy student training. The final model merges the adapter parameters from different checkpoints for different languages. The model performance is validated on a challenging multilingual dictation dataset, which includes 39 tail languages across Latin, Greek, Arabic, etc. Our proposed method brings 12.2% word error rate reduction on average and up to 37.5% on a single locale. Furthermore, we show that our parameter-efficient LDA can match the quality of the full model finetuning, thus greatly alleviating the asynchronous peak performance issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google