Parameter-Efficient Finetuning for Robust Continual Multilingual Learning

要約

私たちは、段階的に到着する新しいデータを使用して、以前にトレーニングされた多言語モデルが定期的に更新される継続的多言語学習 (CML) の問題を紹介し、研究します。
新しいデータが言語のサブセットにのみ存在する場合、結果のモデルは最新の更新に含まれる言語 (およびいくつかの密接に関連する言語) でのみパフォーマンスの向上を示し、残りのすべての言語ではパフォーマンスが大幅に低下することがわかります。
私たちは、パラメータ効率の高い微調整戦略である LAFT-URIEL を提案することで、この課題に対処します。これは、更新後にモデルが改善される言語の数を増やすと同時に、残りの言語のパフォーマンスの損失の大きさを減らすことを目的としています。
LAFT-URIEL は、言語知識を使用して言語間でのオーバーフィッティングと知識共有のバランスをとり、更新後にさらに 25% のタスク言語でパフォーマンスの向上が見られるようにするとともに、残りの言語の平均損失の大きさを相対的に 78% 削減します。
。

要約(オリジナル)

We introduce and study the problem of Continual Multilingual Learning (CML) where a previously trained multilingual model is periodically updated using new data arriving in stages. If the new data is present only in a subset of languages, we find that the resulting model shows improved performance only on the languages included in the latest update (and a few closely related languages) while its performance on all the remaining languages degrade significantly. We address this challenge by proposing LAFT-URIEL, a parameter-efficient finetuning strategy which aims to increase the number of languages on which the model improves after an update, while reducing the magnitude of loss in performance for the remaining languages. LAFT-URIEL uses linguistic knowledge to balance overfitting and knowledge sharing across languages, allowing for an additional 25% of task languages to see an improvement in performance after an update, while also reducing the average magnitude of losses on the remaining languages by 78% relative.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google