RepCL: Exploring Effective Representation for Continual Text Classification

要約

継続学習(CL)は、古いタスクでの壊滅的な忘却を避けながら、時間とともに新しい知識を常に学習することを目的としている。本研究では、クラスインクリメンタルな設定の下で、継続的なテキスト分類に焦点を当てる。最近のCL研究では、あるタスクで学習した表現が他のタスクでは有効でない場合がある、すなわち表現の偏り問題が発見されている。我々は初めて、情報ボトルネックの観点から表現バイアスを正式に分析し、より多くのクラス関連情報を持つ表現を利用することで、バイアスを緩和できることを示唆する。この目的のために、我々は新しい再生ベースの継続的なテキスト分類法であるRepCLを提案する。本手法は、よりクラスに関連した特徴を捉えるために、対照的かつ生成的な表現学習目的を利用する。さらに、RepCLは、再生によるオーバーフィッティングの問題を緩和するために、敵対的再生戦略を導入している。実験では、RepCLが効果的に忘却を緩和し、3つのテキスト分類タスクにおいて最先端の性能を達成したことが実証された。

要約(オリジナル)

Continual learning (CL) aims to constantly learn new knowledge over time while avoiding catastrophic forgetting on old tasks. In this work, we focus on continual text classification under the class-incremental setting. Recent CL studies find that the representations learned in one task may not be effective for other tasks, namely representation bias problem. For the first time we formally analyze representation bias from an information bottleneck perspective and suggest that exploiting representations with more class-relevant information could alleviate the bias. To this end, we propose a novel replay-based continual text classification method, RepCL. Our approach utilizes contrastive and generative representation learning objectives to capture more class-relevant features. In addition, RepCL introduces an adversarial replay strategy to alleviate the overfitting problem of replay. Experiments demonstrate that RepCL effectively alleviates forgetting and achieves state-of-the-art performance on three text classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL