Solving the Catastrophic Forgetting Problem in Generalized Category Discovery

要約

Generalized Category Discovery (GCD) は、ラベルのないデータ セット内の既知のカテゴリと新しいカテゴリの混合を識別し、画像認識のためのより現実的な設定を提供することを目的としています。
基本的に、GCD は新しいカテゴリを認識するために既存のパターンを徹底的に記憶する必要があります。
最近の最先端のメソッド SimGCD は、偏りのない学習を通じて、既知のクラス データからの知識を新しいクラスの学習に転送します。
ただし、一部のパターンは適応中に壊滅的に忘れられるため、新しいカテゴリ分類のパフォーマンスが低下します。
この問題に対処するために、私たちは新しい学習アプローチである LegoGCD を提案します。これは、以前の方法にシームレスに統合され、以前に遭遇した既知のクラスのパフォーマンスを維持しながら、新しいクラスの識別を強化します。
具体的には、局所エントロピー正則化 (LER) とデュアルビュー カルバック ライブラー発散制約 (DKL) と呼ばれる 2 種類の手法を設計します。
LER は、ラベルなしデータ内の潜在的な既知のクラス サンプルの分布を最適化し、新しいクラスを学習しながら既知のカテゴリに関連する知識を確実に保存します。
一方、DKL は、カルバック ライブラー発散を導入して、モデルが同じ画像から 2 つのビュー サンプルの同様の予測分布を生成することを促進します。
このようにして、不一致の予測を回避し、より信頼性の高い潜在的な既知のクラス サンプルを同時に生成します。
広範な実験により、提案された LegoGCD がすべてのデータセットにわたる既知カテゴリの忘却の問題に効果的に対処し、たとえば CUB の既知クラスと新規クラスでそれぞれ 7.74% と 2.51% の精度向上を実現することが検証されました。
コードは https://github.com/Cliffia123/LegoGCD から入手できます。

要約(オリジナル)

Generalized Category Discovery (GCD) aims to identify a mix of known and novel categories within unlabeled data sets, providing a more realistic setting for image recognition. Essentially, GCD needs to remember existing patterns thoroughly to recognize novel categories. Recent state-of-the-art method SimGCD transfers the knowledge from known-class data to the learning of novel classes through debiased learning. However, some patterns are catastrophically forgot during adaptation and thus lead to poor performance in novel categories classification. To address this issue, we propose a novel learning approach, LegoGCD, which is seamlessly integrated into previous methods to enhance the discrimination of novel classes while maintaining performance on previously encountered known classes. Specifically, we design two types of techniques termed as Local Entropy Regularization (LER) and Dual-views Kullback Leibler divergence constraint (DKL). The LER optimizes the distribution of potential known class samples in unlabeled data, thus ensuring the preservation of knowledge related to known categories while learning novel classes. Meanwhile, DKL introduces Kullback Leibler divergence to encourage the model to produce a similar prediction distribution of two view samples from the same image. In this way, it successfully avoids mismatched prediction and generates more reliable potential known class samples simultaneously. Extensive experiments validate that the proposed LegoGCD effectively addresses the known category forgetting issue across all datasets, eg, delivering a 7.74% and 2.51% accuracy boost on known and novel classes in CUB, respectively. Our code is available at: https://github.com/Cliffia123/LegoGCD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google