Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations

要約

オンライン継続学習 (OCL) は、システム サイズと計算コストが制限されているという制約の下で、非定常データ ストリームからのモデル学習が継続的に新しい知識を取得し、学習した知識を保持できるようにすることを目的としています。
「壊滅的な忘却」の問題 – 新しい知識を学びながら、学んだ知識をうまく覚えられないこと。
クラスインクリメンタル OCL シナリオ、つまり分類用の OCL に特に焦点を当てて、最近の進歩には、最先端のパフォーマンスを達成するために、より一般化された特徴表現を学習するための対照的な学習手法が組み込まれていますが、まだ完全には解決できていません。
壊滅的な忘却。
このホワイトペーパーでは、対照学習を採用する戦略に従いますが、強力な拡張を活用してより多くのデータサンプルを生成する、意味的に異なる拡張技術をさらに紹介し、これらのサンプルが元のクラスとは意味的に異なることを考慮することを示します
対照的な学習メカニズムにおける分布外サンプルへの) は、忘却を軽減し、モデルの安定性を促進するのに役立ちます。
さらに、対照的な学習に加えて、一般的な分類メカニズムと目的 (つまり、ソフトマックス分類子とクロスエントロピー損失) がモデル設計に含まれており、収束を高速化し、ラベル情報を利用しますが、特に傾向に取り組むためのサンプリング戦略を備えています。
新しいクラスを優先する (つまり、最近学習したクラスに対するモデル バイアス)。
CIFAR-10、CIFAR-100、および Mini-Imagenet データセットで広範な実験を実施すると、提案された方法は、さまざまなベースラインに対して優れたパフォーマンスを達成することが示されています。

要約(オリジナル)

Online continual learning (OCL) aims to enable model learning from a non-stationary data stream to continuously acquire new knowledge as well as retain the learnt one, under the constraints of having limited system size and computational cost, in which the main challenge comes from the ‘catastrophic forgetting’ issue — the inability to well remember the learnt knowledge while learning the new ones. With the specific focus on the class-incremental OCL scenario, i.e. OCL for classification, the recent advance incorporates the contrastive learning technique for learning more generalised feature representation to achieve the state-of-the-art performance but is still unable to fully resolve the catastrophic forgetting. In this paper, we follow the strategy of adopting contrastive learning but further introduce the semantically distinct augmentation technique, in which it leverages strong augmentation to generate more data samples, and we show that considering these samples semantically different from their original classes (thus being related to the out-of-distribution samples) in the contrastive learning mechanism contributes to alleviate forgetting and facilitate model stability. Moreover, in addition to contrastive learning, the typical classification mechanism and objective (i.e. softmax classifier and cross-entropy loss) are included in our model design for faster convergence and utilising the label information, but particularly equipped with a sampling strategy to tackle the tendency of favouring the new classes (i.e. model bias towards the recently learnt classes). Upon conducting extensive experiments on CIFAR-10, CIFAR-100, and Mini-Imagenet datasets, our proposed method is shown to achieve superior performance against various baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google