PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning

要約

【タイトル】オンラインクラス増加持続学習のためのプロキシ反復比較 (PCR)

【要約】

– クラス増加持続学習は、継続的にデータストリームから新しいクラスを学習するタスクである。
– 既存の反復方法は、過去のデータの一部を保存し、再生することで、古いクラスの歴史的知識を失わずに新しいクラスを学習することができる。
– この研究では、プロキシベースと反復対象の2つの反復方法について分析し、「プロキシ反復比較」という新しい反復方法を提案する。
– PCRは、反復対象アンカーの対照サンプルを対応するプロキシで置き換えることにより、バランスの取れた学習を実現し、モデルの収束を高速化する。
– 3つの実世界のベンチマークデータセットでの実験結果は、PCRが様々な最先端の方法に優れていることを示している。

要約(オリジナル)

Online class-incremental continual learning is a specific task of continual learning. It aims to continuously learn new classes from data stream and the samples of data stream are seen only once, which suffers from the catastrophic forgetting issue, i.e., forgetting historical knowledge of old classes. Existing replay-based methods effectively alleviate this issue by saving and replaying part of old data in a proxy-based or contrastive-based replay manner. Although these two replay manners are effective, the former would incline to new classes due to class imbalance issues, and the latter is unstable and hard to converge because of the limited number of samples. In this paper, we conduct a comprehensive analysis of these two replay manners and find that they can be complementary. Inspired by this finding, we propose a novel replay-based method called proxy-based contrastive replay (PCR). The key operation is to replace the contrastive samples of anchors with corresponding proxies in the contrastive-based way. It alleviates the phenomenon of catastrophic forgetting by effectively addressing the imbalance issue, as well as keeps a faster convergence of the model. We conduct extensive experiments on three real-world benchmark datasets, and empirical results consistently demonstrate the superiority of PCR over various state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI