Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Models

要約

増分学習 (IL) は、ビジョン コミュニティと自然言語処理 (NLP) コミュニティの両方で長年の問題です。
近年、事前トレーニング済み言語モデル (PLM) がさまざまな NLP 下流タスクで目覚ましい進歩を遂げているため、NLP における IL の最近の研究では PLM をバックボーンとして利用することが一般的になってきています。
ほとんどの人は、壊滅的な忘却が優れた IL パフォーマンスを達成するための最大の障害であると想定しており、この問題を克服するためのさまざまな手法を提案しています。
しかし、この仮定には問題があることがわかりました。
具体的には、最も一般的な 2 つの IL 設定 (クラス増分とタスク増分) の下で 4 つの分類タスク (テキスト分類、インテント分類、関係抽出、および固有表現認識) に関する 20 以上のメソッドを再調査し、そのほとんどが深刻な問題を抱えていることを明らかにしました。
PLM 本来の忘れ防止能力を過小評価しています。
この観察に基づいて、PLM を使用した IL に対して SEQ* と呼ばれるイライラするほど簡単な方法を提案します。
結果は、SEQ* が最先端 (SOTA) IL メソッドと比較して競合または優れたパフォーマンスを持ち、必要なトレーニング可能なパラメーターとトレーニング時間が大幅に少ないことを示しています。
これらの発見は、PLM を使用して IL を再検討することを促し、今後の研究で PLM における壊滅的な忘却を根本的に理解することを奨励します。
データ、コード、およびスクリプトは、https://github.com/zzz47zzz/codebase-for-incremental-learning-with-llm で公開されています。

要約(オリジナル)

Incremental Learning (IL) has been a long-standing problem in both vision and Natural Language Processing (NLP) communities. In recent years, as Pre-trained Language Models (PLMs) have achieved remarkable progress in various NLP downstream tasks, utilizing PLMs as backbones has become a common practice in recent research of IL in NLP. Most assume that catastrophic forgetting is the biggest obstacle to achieving superior IL performance and propose various techniques to overcome this issue. However, we find that this assumption is problematic. Specifically, we revisit more than 20 methods on four classification tasks (Text Classification, Intent Classification, Relation Extraction, and Named Entity Recognition) under the two most popular IL settings (Class-Incremental and Task-Incremental) and reveal that most of them severely underestimate the inherent anti-forgetting ability of PLMs. Based on the observation, we propose a frustratingly easy method called SEQ* for IL with PLMs. The results show that SEQ* has competitive or superior performance compared to state-of-the-art (SOTA) IL methods and requires considerably less trainable parameters and training time. These findings urge us to revisit the IL with PLMs and encourage future studies to have a fundamental understanding of the catastrophic forgetting in PLMs. The data, code and scripts are publicly available at https://github.com/zzz47zzz/codebase-for-incremental-learning-with-llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google