Cross-lingual Lifelong Learning

要約

多言語学習の長年の目標は、多言語データ分布の変化に耐えることができる普遍的な異言語モデルを開発することでした。
このような多言語モデルをまだ見ぬターゲット言語に適応させるには、多大な労力が費やされてきました。
ただし、この方向の作業の大部分は、ソース言語からターゲット言語への標準的なワンホップ転移学習パイプラインに焦点を当てていますが、現実的なシナリオでは、新しい言語をいつでも順次に組み込むことができます。
この論文では、原則に基づいたクロスリンガル継続学習 (CCL) 評価パラダイムを紹介し、さまざまな言語からの新たなデータに継続的に適応するために使用されるさまざまなカテゴリのアプローチを分析します。
多言語の逐次学習を特に困難にしているものについての洞察を提供します。
このような課題を克服するために、私たちは、言語を超えた継続的学習アルゴリズムの代表的なセットをベンチマークし、慎重に厳選されたデータストリームのベースラインと比較して、その知識の保存、蓄積、一般化能力を分析します。
この分析の意味には、従来の転移学習を超えた、言語を超えた継続的な学習のさまざまな要望を測定しバランスをとる方法のレシピが含まれます。

要約(オリジナル)

The longstanding goal of multi-lingual learning has been to develop a universal cross-lingual model that can withstand the changes in multi-lingual data distributions. There has been a large amount of work to adapt such multi-lingual models to unseen target languages. However, the majority of work in this direction focuses on the standard one-hop transfer learning pipeline from source to target languages, whereas in realistic scenarios, new languages can be incorporated at any time in a sequential manner. In this paper, we present a principled Cross-lingual Continual Learning (CCL) evaluation paradigm, where we analyze different categories of approaches used to continually adapt to emerging data from different languages. We provide insights into what makes multilingual sequential learning particularly challenging. To surmount such challenges, we benchmark a representative set of cross-lingual continual learning algorithms and analyze their knowledge preservation, accumulation, and generalization capabilities compared to baselines on carefully curated datastreams. The implications of this analysis include a recipe for how to measure and balance different cross-lingual continual learning desiderata, which go beyond conventional transfer learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google