Proxy-Anchor and EVT-Driven Continual Learning Method for Generalized Category Discovery

要約

継続的な一般化されたカテゴリの発見が、以前に学んだカテゴリの壊滅的な忘却を避けながら、着信データバッチで継続的に発見および学習することを目的とする方法として、文献で導入および研究されています。
この課題に対処する重要な要素は、極端な価値理論（EVT）が効果的に採用されている新しいサンプルを分離するモデルの能力です。
この作業では、EVTとプロキシアンカーを統合して、包含関数の確率を使用してプロキシに関する境界を定義する新しい方法を提案し、未知のサンプルの拒絶を可能にします。
さらに、学習した表現を強化するための新しいEVTベースの損失関数を導入し、同様の設定で他の深部メトリック学習方法と比較して優れたパフォーマンスを実現します。
導出された確率関数を使用して、新しいサンプルは以前に既知のカテゴリから効果的に分離されています。
ただし、これらの新しいサンプル内のカテゴリの発見は、新しいカテゴリの数を過大評価することがあります。
この問題を軽減するために、モデルサイズを削減し、冗長プロキシを破棄するための新しいEVTベースのアプローチを提案します。
また、壊滅的な忘却を防ぐために、継続的な学習段階で経験のリプレイと知識の蒸留メカニズムを組み込みます。
実験結果は、提案されたアプローチが、継続的な一般化されたカテゴリの発見シナリオで最先端の方法を上回ることを示しています。

要約(オリジナル)

Continual generalized category discovery has been introduced and studied in the literature as a method that aims to continuously discover and learn novel categories in incoming data batches while avoiding catastrophic forgetting of previously learned categories. A key component in addressing this challenge is the model’s ability to separate novel samples, where Extreme Value Theory (EVT) has been effectively employed. In this work, we propose a novel method that integrates EVT with proxy anchors to define boundaries around proxies using a probability of inclusion function, enabling the rejection of unknown samples. Additionally, we introduce a novel EVT-based loss function to enhance the learned representation, achieving superior performance compared to other deep-metric learning methods in similar settings. Using the derived probability functions, novel samples are effectively separated from previously known categories. However, category discovery within these novel samples can sometimes overestimate the number of new categories. To mitigate this issue, we propose a novel EVT-based approach to reduce the model size and discard redundant proxies. We also incorporate experience replay and knowledge distillation mechanisms during the continual learning stage to prevent catastrophic forgetting. Experimental results demonstrate that our proposed approach outperforms state-of-the-art methods in continual generalized category discovery scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google