On Distilling the Displacement Knowledge for Few-Shot Class-Incremental Learning

要約

フューショットクラス増分学習 (FSCIL) は、進化するデータ分布の課題と現実世界のシナリオにおけるデータ取得の難しさに対処します。
FSCIL でよく発生する壊滅的な忘却に対抗するために、学習されたデータの配布から知識を維持する方法として知識の蒸留が採用されています。
少数のショットのコンテキストで識別的な特徴表現を生成することの限界を認識して、私たちのアプローチはサンプル間の構造情報を知識の蒸留に組み込みます。
この構造情報は、機能の低品質を解決するものとして機能します。
サンプルの類似性を計算する従来の構造化蒸留法とは異なり、置換知識蒸留 (DKD) 法を導入します。
DKD は、サンプル間の類似性ではなく変位を利用し、距離と角度の両方の情報を組み込んで、知識の蒸留によって保持される情報密度を大幅に高めます。
基本クラスと新規クラス間の機能分布におけるパフォーマンスの違いを観察して、Dual Distillation Network (DDNet) を提案します。
このネットワークは、従来の知識の蒸留を基本クラスに適用し、DKD を新規クラスに適用し、新規クラスと基本クラスの従来の統合に挑戦します。
さらに、推論中にインスタンス対応のサンプル セレクターを実装してデュアル ブランチの重みを動的に調整し、それによって各アプローチの補完的な長所を活用します。
3 つのベンチマークでの広範なテストにより、DDNet が最先端の結果を達成することが実証されました。
さらに、厳密な実験と比較を通じて、提案した DKD 法の堅牢性と一般的な適用可能性を確立します。

要約(オリジナル)

Few-shot Class-Incremental Learning (FSCIL) addresses the challenges of evolving data distributions and the difficulty of data acquisition in real-world scenarios. To counteract the catastrophic forgetting typically encountered in FSCIL, knowledge distillation is employed as a way to maintain the knowledge from learned data distribution. Recognizing the limitations of generating discriminative feature representations in a few-shot context, our approach incorporates structural information between samples into knowledge distillation. This structural information serves as a remedy for the low quality of features. Diverging from traditional structured distillation methods that compute sample similarity, we introduce the Displacement Knowledge Distillation (DKD) method. DKD utilizes displacement rather than similarity between samples, incorporating both distance and angular information to significantly enhance the information density retained through knowledge distillation. Observing performance disparities in feature distribution between base and novel classes, we propose the Dual Distillation Network (DDNet). This network applies traditional knowledge distillation to base classes and DKD to novel classes, challenging the conventional integration of novel classes with base classes. Additionally, we implement an instance-aware sample selector during inference to dynamically adjust dual branch weights, thereby leveraging the complementary strengths of each approach. Extensive testing on three benchmarks demonstrates that DDNet achieves state-of-the-art results. Moreover, through rigorous experimentation and comparison, we establish the robustness and general applicability of our proposed DKD method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google