How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario

要約

音声の自己教師あり学習 (SSL) モデルを利用すると、自動音声認識 (ASR) で優れたパフォーマンスが実現します。
ただし、低リソース言語の ASR では、事前トレーニング言語と低リソース言語の間でドメインの不一致の問題が発生します。
SSL モデルの微調整などの一般的なソリューションは高い計算コストに悩まされますが、凍結された SSL モデルを特徴抽出器として使用するとパフォーマンスが低下します。
これらの問題に対処するために、アダプターに基づいた従来の効率的な微調整スキームを拡張します。
アダプターとダウンストリーム モデルの初期化をウォームアップするために、追加の中間適応を追加します。
注目すべきことに、適応を達成するために、モデル パラメーター全体の 1 ～ 5% のみを更新します。
ML-SUPERB データセットの実験結果は、私たちのソリューションが従来の効率的な微調整よりも優れていることを示しています。
未知の言語に適応する場合、文字/音素エラー率が最大 28% 相対的に改善されます。

要約(オリジナル)

The utilization of speech Self-Supervised Learning (SSL) models achieves impressive performance on Automatic Speech Recognition (ASR). However, in low-resource language ASR, they encounter the domain mismatch problem between pre-trained and low-resource languages. Typical solutions like fine-tuning the SSL model suffer from high computation costs while using frozen SSL models as feature extractors comes with poor performance. To handle these issues, we extend a conventional efficient fine-tuning scheme based on the adapter. We add an extra intermediate adaptation to warm up the adapter and downstream model initialization. Remarkably, we update only 1-5% of the total model parameters to achieve the adaptation. Experimental results on the ML-SUPERB dataset show that our solution outperforms conventional efficient fine-tuning. It achieves up to a 28% relative improvement in the Character/Phoneme error rate when adapting to unseen languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google