Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks

要約

絶え間なく変化する世界では、新しいクラスが頻繁に発生します。たとえば、ソーシャル メディアの新たなトピックや、電子商取引の新しいタイプの製品などです。
モデルは新しいクラスを認識し、その間に古いクラスに対する識別可能性を維持する必要があります。
厳しい状況下では、モデルを段階的に更新するために使用できる新しいインスタンスは限られています。
古いクラスを忘れずに少数ショットの新しいクラスを認識するタスクは、少数ショットのクラス増分学習 (FSCIL) と呼ばれます。
この作業では、基本データセットから偽の FSCIL タスクを合成する LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタ学習に基づく FSCIL の新しいパラダイムを提案します。
偽のタスクのデータ形式は、「本物の」増分タスクと一致しており、メタ学習を通じて目に見えないタスクの一般化可能な機能空間を構築できます。
さらに、LIMIT は、古いクラス分類器と新しいクラス プロトタイプを同じスケールに調整し、セマンティック ギャップを埋める変換器に基づく調整モジュールも構築します。
また、キャリブレーション モジュールは、セット間関数を使用して、インスタンス固有の埋め込みを適応的にコンテキスト化します。
LIMIT は新しいクラスに効率的に適応し、一方で古いクラスを忘れないようにします。
3 つのベンチマーク データセット (CIFAR100、miniImageNet、および CUB200) と大規模データセット (ImageNet ILSVRC2012) での実験により、LIMIT が最先端のパフォーマンスを達成することが検証されました。

要約(オリジナル)

New classes arise frequently in our ever-changing world, e.g., emerging topics in social media and new types of products in e-commerce. A model should recognize new classes and meanwhile maintain discriminability over old classes. Under severe circumstances, only limited novel instances are available to incrementally update the model. The task of recognizing few-shot new classes without forgetting old classes is called few-shot class-incremental learning (FSCIL). In this work, we propose a new paradigm for FSCIL based on meta-learning by LearnIng Multi-phase Incremental Tasks (LIMIT), which synthesizes fake FSCIL tasks from the base dataset. The data format of fake tasks is consistent with the `real’ incremental tasks, and we can build a generalizable feature space for the unseen tasks through meta-learning. Besides, LIMIT also constructs a calibration module based on transformer, which calibrates the old class classifiers and new class prototypes into the same scale and fills in the semantic gap. The calibration module also adaptively contextualizes the instance-specific embedding with a set-to-set function. LIMIT efficiently adapts to new classes and meanwhile resists forgetting over old classes. Experiments on three benchmark datasets (CIFAR100, miniImageNet, and CUB200) and large-scale dataset, i.e., ImageNet ILSVRC2012 validate that LIMIT achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google