Controllable Forgetting Mechanism for Few-Shot Class-Incremental Learning

要約

限られた個人ラベル付きサンプル（少数のショット）のコンテキストでのクラスインクレメント学習は、スマートホームデバイスなどの多くの実際のアプリケーションにとって重要です。
これらのシナリオの重要な課題は、新しいパーソナライズされたクラスに適応することと、元の基本クラスのモデルのパフォーマンスを維持することとのトレードオフのバランスをとることです。
新しいクラスでモデルを微調整すると、壊滅的な忘却の現象につながることが多く、基本クラスの精度が予測不可能かつ大幅に低下します。
この論文では、新規と基本クラスの精度の間のトレードオフを制御することにより、この課題に対処するためのシンプルで効果的なメカニズムを提案します。
新しいクラスごとに1つの例のみが利用可能な超低ショットシナリオを具体的にターゲットにしています。
私たちのアプローチでは、新しいクラスの検出（NCD）ルールを導入します。これは、アプリオリを忘れる程度を調整し、同時に新しいクラスのパフォーマンスを向上させます。
ソリューションを最先端の少数のクラスインクリメンタル学習（FSCIL）メソッドに適用することにより、ソリューションの汎用性を実証し、さまざまな設定で一貫した改善を示します。
小説と基本クラスのパフォーマンスの間のトレードオフをよりよく定量化するために、NCR@2FORとNCR@5FORの新しいメトリックを紹介します。
私たちのアプローチは、CIFAR100データセット（1ショット、1つの新しいクラス）の新しいクラスの精度が最大30％改善され、2％の制御された基本クラスの忘却率を維持します。

要約(オリジナル)

Class-incremental learning in the context of limited personal labeled samples (few-shot) is critical for numerous real-world applications, such as smart home devices. A key challenge in these scenarios is balancing the trade-off between adapting to new, personalized classes and maintaining the performance of the model on the original, base classes. Fine-tuning the model on novel classes often leads to the phenomenon of catastrophic forgetting, where the accuracy of base classes declines unpredictably and significantly. In this paper, we propose a simple yet effective mechanism to address this challenge by controlling the trade-off between novel and base class accuracy. We specifically target the ultra-low-shot scenario, where only a single example is available per novel class. Our approach introduces a Novel Class Detection (NCD) rule, which adjusts the degree of forgetting a priori while simultaneously enhancing performance on novel classes. We demonstrate the versatility of our solution by applying it to state-of-the-art Few-Shot Class-Incremental Learning (FSCIL) methods, showing consistent improvements across different settings. To better quantify the trade-off between novel and base class performance, we introduce new metrics: NCR@2FOR and NCR@5FOR. Our approach achieves up to a 30% improvement in novel class accuracy on the CIFAR100 dataset (1-shot, 1 novel class) while maintaining a controlled base class forgetting rate of 2%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google