Continual Learning for Encoder-only Language Models via a Discrete Key-Value Bottleneck

要約

さまざまな自然言語理解タスクにわたって、継続的な学習は依然として困難です。
モデルが新しいトレーニング データで更新されると、事前の知識が壊滅的に忘れられる危険があります。
現在の作業では、エンコーダのみの言語モデルに個別のキーと値のボトルネックを導入し、ローカライズされた更新のみを必要とすることで効率的な継続的な学習を可能にします。
ビジョンにおける離散キーと値のボトルネックの成功に触発されて、私たちは NLP 固有の新たな課題に取り組みます。
私たちは、さまざまなボトルネック アーキテクチャを実験して、言語に関して最適なバリアントを見つけ、タスクに依存しない NLP 用の汎用離散キー初期化手法を提示します。
4 つの継続学習 NLP シナリオで離散キーと値のボトルネックを評価し、それが壊滅的な忘却を軽減することを実証します。
より低い計算コストで、他の一般的な継続学習方法に匹敵するパフォーマンスを提供することを紹介します。

要約(オリジナル)

Continual learning remains challenging across various natural language understanding tasks. When models are updated with new training data, they risk catastrophic forgetting of prior knowledge. In the present work, we introduce a discrete key-value bottleneck for encoder-only language models, allowing for efficient continual learning by requiring only localized updates. Inspired by the success of a discrete key-value bottleneck in vision, we address new and NLP-specific challenges. We experiment with different bottleneck architectures to find the most suitable variants regarding language, and present a generic discrete key initialization technique for NLP that is task independent. We evaluate the discrete key-value bottleneck in four continual learning NLP scenarios and demonstrate that it alleviates catastrophic forgetting. We showcase that it offers competitive performance to other popular continual learning methods, with lower computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google