Overcoming Catastrophic Forgetting in Massively Multilingual Continual Learning

要約

実際の多言語システムでは、システムに供給されるデータ配信が時間の経過とともに進化し、変化するにつれて、新しい言語を効率的に組み込むことができる必要があります。
これを行うには、システムは、過去に見られた言語やタスクのモデルのパフォーマンスが低下する、壊滅的な忘却の問題に対処する必要があります。
この論文では、最大 51 言語が関与し、分類タスクと順序ラベル付けタスクの両方をカバーする大規模な多言語継続学習フレームワークで、壊滅的な忘却とこれを最小限に抑える方法を研究します。
我々は、シンプルでありながら、過去の知識を強く上書きすることなく新しい情報を保存するのに効果的な学習率スケジューリング手法である LR ADJUST を紹介します。
さらに、この方法が複数の継続的な学習アプローチにわたって有効であることを示します。
最後に、この大規模な多言語環境における壊滅的な忘却のダイナミクスについてのさらなる洞察を提供します。

要約(オリジナル)

Real-life multilingual systems should be able to efficiently incorporate new languages as data distributions fed to the system evolve and shift over time. To do this, systems need to handle the issue of catastrophic forgetting, where the model performance drops for languages or tasks seen further in its past. In this paper, we study catastrophic forgetting, as well as methods to minimize this, in a massively multilingual continual learning framework involving up to 51 languages and covering both classification and sequence labeling tasks. We present LR ADJUST, a learning rate scheduling method that is simple, yet effective in preserving new information without strongly overwriting past knowledge. Furthermore, we show that this method is effective across multiple continual learning approaches. Finally, we provide further insights into the dynamics of catastrophic forgetting in this massively multilingual setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google