Class-Incremental Learning based on Label Generation

要約

事前トレーニングされた言語モデルは大きな成功を収めましたが、これらのモデルを継続学習、特に壊滅的忘却 (CF) のためクラス増分学習 (CIL) 設定に使用することは依然として課題です。
この論文では、CIL を継続的なラベル生成問題として定式化すると、CF が大幅に削減され、事前トレーニングされたモデルの一般化可能な表現をよりよく保持できるという発見を報告します。
そこで、我々は、語彙の希薄性を利用して生成に焦点を当て、ラベルセマンティクスを使用して疑似再生サンプルを作成する新しい CIL 手法 (VAG) を提案します。
実験結果は、VAG がベースラインを大幅に上回っていることを示しています。

要約(オリジナル)

Despite the great success of pre-trained language models, it is still a challenge to use these models for continual learning, especially for the class-incremental learning (CIL) setting due to catastrophic forgetting (CF). This paper reports our finding that if we formulate CIL as a continual label generation problem, CF is drastically reduced and the generalizable representations of pre-trained models can be better retained. We thus propose a new CIL method (VAG) that also leverages the sparsity of vocabulary to focus the generation and creates pseudo-replay samples by using label semantics. Experimental results show that VAG outperforms baselines by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google