Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning

要約

Few-Shot Class-Incremental Learning (FSCIL) は、大規模な基本データセットで十分にトレーニングされたモデルを前提として、以前に遭遇したすべてのクラスを壊滅的に忘れることなく、オーバーフィッティングを回避することにより、いくつかのラベル付きサンプルから新しいクラスを段階的に学習することを目的としています。
現在、自由に利用できるラベルなしデータを利用して限られたラベル付きデータを補う半教師あり学習手法は、多数のビジョン タスクのパフォーマンスを向上させることができます。これは FSCIL の問題に取り組むためにヒューリスティックに適用できます。
FSCIL)。
これまでのところ、半教師あり学習の FSCIL タスクへの適応性の問題は未解決のままで、Semi-FSCIL タスクに焦点を当てた研究は非常に限られています。
このホワイト ペーパーでは、この適応性の問題に焦点を当て、UaD と CE の 2 つのモジュールを含む、Uncertainty-aware Distillation with Class-Equilibrium (UaD-CE) という名前のシンプルで効率的な Semi-FSCIL フレームワークを紹介します。
具体的には、ラベル付けされていないデータを各増分セッションに組み込むときに、クラスバランスのとれた自己トレーニングを採用する CE モジュールを導入して、疑似ラベル生成で分類しやすいクラスが徐々に優勢になるのを回避します。
参照モデルから信頼できる知識を抽出するために、不確実性に基づく知識の洗練と適応蒸留を組み合わせた UaD モジュールをさらに実装します。
3 つのベンチマーク データセットでの包括的な実験は、FSCIL タスクの半教師あり学習手法を使用して、ラベルのないデータの適応性を高めることができることを示しています。

要約(オリジナル)

Given a model well-trained with a large-scale base dataset, Few-Shot Class-Incremental Learning (FSCIL) aims at incrementally learning novel classes from a few labeled samples by avoiding overfitting, without catastrophically forgetting all encountered classes previously. Currently, semi-supervised learning technique that harnesses freely-available unlabeled data to compensate for limited labeled data can boost the performance in numerous vision tasks, which heuristically can be applied to tackle issues in FSCIL, i.e., the Semi-supervised FSCIL (Semi-FSCIL). So far, very limited work focuses on the Semi-FSCIL task, leaving the adaptability issue of semi-supervised learning to the FSCIL task unresolved. In this paper, we focus on this adaptability issue and present a simple yet efficient Semi-FSCIL framework named Uncertainty-aware Distillation with Class-Equilibrium (UaD-CE), encompassing two modules UaD and CE. Specifically, when incorporating unlabeled data into each incremental session, we introduce the CE module that employs a class-balanced self-training to avoid the gradual dominance of easy-to-classified classes on pseudo-label generation. To distill reliable knowledge from the reference model, we further implement the UaD module that combines uncertainty-guided knowledge refinement with adaptive distillation. Comprehensive experiments on three benchmark datasets demonstrate that our method can boost the adaptability of unlabeled data with the semi-supervised learning technique in FSCIL tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google