Concept-1K: A Novel Benchmark for Instance Incremental Learning

要約

増分学習 (IL) は、ニューラル ネットワークで人間レベルの知能を実現するために不可欠です。
ただし、既存の IL シナリオとデータセットは PLM の物忘れを評価するのに適しておらず、PLM が壊滅的な物忘れに悩まされていないという錯覚を与えます。
この目的を達成するために、インスタンス増分学習 (IIL) と呼ばれる挑戦的な IL シナリオと、桁違いに大きな IL ステップをサポートする Concept-1K と呼ばれる新しいデータセットを提案します。
Concept-1K での実験に基づいて、10 億パラメータの PLM は依然として壊滅的な忘却に悩まされており、その忘却はモデルのスケール、事前トレーニング、バッファ サイズの両方の影響を受けることを明らかにしました。
さらに、既存の IL 手法と一般的な微調整手法である LoRA では、満足のいくパフォーマンスを達成できません。
私たちの研究は、PLM の壊滅的な物忘れを調査し、PLM の物忘れを軽減するためのより強力な技術の設計を奨励するための将来の研究に新しいシナリオを提供します。
データ、コード、およびスクリプトは、https://github.com/zzz47zzz/codebase-for-incremental-learning-with-llm で公開されています。

要約(オリジナル)

Incremental learning (IL) is essential to realize the human-level intelligence in the neural network. However, existing IL scenarios and datasets are unqualified for assessing forgetting in PLMs, giving an illusion that PLMs do not suffer from catastrophic forgetting. To this end, we propose a challenging IL scenario called instance-incremental learning (IIL) and a novel dataset called Concept-1K, which supports an order of magnitude larger IL steps. Based on the experiments on Concept-1K, we reveal that billion-parameter PLMs still suffer from catastrophic forgetting, and the forgetting is affected by both model scale, pretraining, and buffer size. Furthermore, existing IL methods and a popular finetuning technique, LoRA, fail to achieve satisfactory performance. Our study provides a novel scenario for future studies to explore the catastrophic forgetting of PLMs and encourage more powerful techniques to be designed for alleviating the forgetting in PLMs. The data, code and scripts are publicly available at https://github.com/zzz47zzz/codebase-for-incremental-learning-with-llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google