Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration

要約

現実世界のシナリオには、通常、恐怖のラベルが付けられたサンプルを含む継続的に出現するクラスが伴います。これには、機械学習モデルが新しいクラスを段階的に学習し、基本クラスの知識を維持する必要があります。
この FSCIL (Few-Shot Class-Incremental Learning) シナリオでは、既存の手法では追加の学習可能なコンポーネントを導入するか、凍結された特徴抽出機能に依存して壊滅的な忘却と過剰適合の問題を軽減します。
ただし、既存のメソッドでは新しいクラスのサンプルを基本クラスに誤って分類する傾向があり、それが新しいクラスのパフォーマンスの低下につながることがわかりました。
言い換えれば、基本クラスの強力な識別能力により、新しいクラスの分類が妨げられるということです。
この興味深い現象を解明するために、特徴抽出器は基本クラスでのみトレーニングされているにもかかわらず、驚くべきことに基本クラスとまだ見ぬ新しいクラスの間の意味論的な類似性を表現できることが観察されます。
これらの分析に基づいて、新しいプロトタイプ (つまり、クラスの平均特徴) と重み付けされた基本プロトタイプを融合することにより、新しいクラスの識別可能性を高める、シンプルかつ効果的なトレーニング不要キャリブレーション (TEEN) 戦略を提案します。
FSCIL の標準ベンチマークに加えて、TEEN は、数回のショット学習シナリオにおいて、ベースライン手法と比べて顕著なパフォーマンスと一貫した改善を示しています。
コードはhttps://github.com/wangkiw/TEENから入手できます。

要約(オリジナル)

Real-world scenarios are usually accompanied by continuously appearing classes with scare labeled samples, which require the machine learning model to incrementally learn new classes and maintain the knowledge of base classes. In this Few-Shot Class-Incremental Learning (FSCIL) scenario, existing methods either introduce extra learnable components or rely on a frozen feature extractor to mitigate catastrophic forgetting and overfitting problems. However, we find a tendency for existing methods to misclassify the samples of new classes into base classes, which leads to the poor performance of new classes. In other words, the strong discriminability of base classes distracts the classification of new classes. To figure out this intriguing phenomenon, we observe that although the feature extractor is only trained on base classes, it can surprisingly represent the semantic similarity between the base and unseen new classes. Building upon these analyses, we propose a simple yet effective Training-frEE calibratioN (TEEN) strategy to enhance the discriminability of new classes by fusing the new prototypes (i.e., mean features of a class) with weighted base prototypes. In addition to standard benchmarks in FSCIL, TEEN demonstrates remarkable performance and consistent improvements over baseline methods in the few-shot learning scenario. Code is available at: https://github.com/wangkiw/TEEN

arxiv情報

提供元, 利用サービス

arxiv.jp, Google