Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation

要約

最近、対照学習方法の高品質な表現のため、従来の継続的な設定における致命的な忘却の問題を回避するために、転送可能な表現の埋め込みを継続的に学習する方法を探るために、リハーサルベースの対照的継続学習が提案されています。
このフレームワークに基づいて、重要度サンプリングによる対照的継続学習 (CCLIS) を提案します。これは、リプレイ バッファー選択 (RBS) の新しい戦略で以前のデータ分布を復元することで知識を保存します。これにより、推定分散を最小限に抑えて、高い表現学習用のハード ネガティブ サンプルを保存できます。
品質。
さらに、自己蒸留プロセスを使用してプロトタイプとサンプル表現の間の関係を維持するように設計された手法である、プロトタイプとインスタンスの関係蒸留 (PRD) 損失を紹介します。
標準的な継続学習ベンチマークの実験では、私たちの方法が知識の保存の点で既存のベースラインを著しく上回っており、それによってオンライン環境における壊滅的な忘却を効果的に防止できることが明らかになりました。
コードは https://github.com/lijy373/CCLIS で入手できます。

要約(オリジナル)

Recently, because of the high-quality representations of contrastive learning methods, rehearsal-based contrastive continual learning has been proposed to explore how to continually learn transferable representation embeddings to avoid the catastrophic forgetting issue in traditional continual settings. Based on this framework, we propose Contrastive Continual Learning via Importance Sampling (CCLIS) to preserve knowledge by recovering previous data distributions with a new strategy for Replay Buffer Selection (RBS), which minimize estimated variance to save hard negative samples for representation learning with high quality. Furthermore, we present the Prototype-instance Relation Distillation (PRD) loss, a technique designed to maintain the relationship between prototypes and sample representations using a self-distillation process. Experiments on standard continual learning benchmarks reveal that our method notably outperforms existing baselines in terms of knowledge preservation and thereby effectively counteracts catastrophic forgetting in online contexts. The code is available at https://github.com/lijy373/CCLIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google