A Parameter-efficient Language Extension Framework for Multilingual ASR

要約

多言語音声認識モデル (MASR) ですべての言語をカバーすることは非常に困難です。
既存の MASR に加えて言語拡張を実行することが望ましい選択です。
この研究では、MASR 継続学習問題が確率的に言語同一性予測 (LP) と言語間適応 (XLA) サブ問題に分解されます。
これに基づいて、私たちは、PELE として誕生した、壊滅的な忘却を根本的に解決できる言語拡張のためのアーキテクチャベースのフレームワークを提案します。
PELE はパラメータ効率が良いように設計されており、新しい言語に適応するためにアドオン モジュールを段階的に組み込んでいます。
具体的には、さまざまなパラメーター効率の良い微調整 (PEFT) モジュールとそのバリアントが、XLA を実行する潜在的な候補として検討されます。
実験は、リソースの少ないさまざまなデータ サイズを使用して 5 つの新しい言語で実行されます。
最高の成績を収めた PEFT 受験者は、すべての言語で満足のいく成績を達成でき、5 言語のうち 3 言語で継続的な共同学習設定よりも優れていることを実証します。
特に、重みパラメータや入力特徴に焦点を当てた PEFT 手法はパフォーマンスが制限されており、アダプタなどの層の間に軽量モジュールを挿入する場合と比較して拡張機能が大幅に劣っていることが明らかになりました。

要約(オリジナル)

Covering all languages with a multilingual speech recognition model (MASR) is very difficult. Performing language extension on top of an existing MASR is a desirable choice. In this study, the MASR continual learning problem is probabilistically decomposed into language identity prediction (LP) and cross-lingual adaptation (XLA) sub-problems. Based on this, we propose an architecture-based framework for language extension that can fundamentally solve catastrophic forgetting, debudded as PELE. PELE is designed to be parameter-efficient, incrementally incorporating an add-on module to adapt to a new language. Specifically, different parameter-efficient fine-tuning (PEFT) modules and their variants are explored as potential candidates to perform XLA. Experiments are carried out on 5 new languages with a wide range of low-resourced data sizes. The best-performing PEFT candidate can achieve satisfactory performance across all languages and demonstrates superiority in three of five languages over the continual joint learning setting. Notably, PEFT methods focusing on weight parameters or input features are revealed to be limited in performance, showing significantly inferior extension capabilities compared to inserting a lightweight module in between layers such as an Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google