Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning

要約

継続学習における手法の主な目的は、壊滅的な忘却という有害な現象を軽減しながら、データの流れから時間をかけて順番にタスクを学習することです。
この論文では、以前のクラス プロトタイプと新しく遭遇したクラス プロトタイプの間の最適な表現を学習することに焦点を当てます。
我々は、特にクラス増分学習シナリオ向けに調整されたベイジアン学習駆動型コントラスト損失 (BLCL) を備えたプロトタイプ ネットワークを提案します。
したがって、クラス内距離を減少させ、クラス間距離を増加させることによって、潜在表現に新しいクラスを組み込む対照的な損失を導入します。
私たちのアプローチは、ベイジアン学習手法を使用して、クロスエントロピーとコントラスト損失関数の間のバランスを動的に適応させます。
画像分類のための CIFAR-10 と CIFAR-100 データセットの両方、および干渉分類のための GNSS ベースのデータセットの画像に対して行われた経験的評価により、私たちの手法の有効性が検証され、既存の最先端のアプローチに対するその優位性が実証されました。

要約(オリジナル)

The primary objective of methods in continual learning is to learn tasks in a sequential manner over time from a stream of data, while mitigating the detrimental phenomenon of catastrophic forgetting. In this paper, we focus on learning an optimal representation between previous class prototypes and newly encountered ones. We propose a prototypical network with a Bayesian learning-driven contrastive loss (BLCL) tailored specifically for class-incremental learning scenarios. Therefore, we introduce a contrastive loss that incorporates new classes into the latent representation by reducing the intra-class distance and increasing the inter-class distance. Our approach dynamically adapts the balance between the cross-entropy and contrastive loss functions with a Bayesian learning technique. Empirical evaluations conducted on both the CIFAR-10 and CIFAR-100 dataset for image classification and images of a GNSS-based dataset for interference classification validate the efficacy of our method, showcasing its superiority over existing state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google