Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness

要約

クラス増分学習 (CIL) は、モデルが以前のタスクから得られた知識を保持しながら、新しい分類タスクを段階的に学習できるようにすることを目的とした、継続学習内の極めて重要なサブフィールドを構成します。
これまでの研究は主に壊滅的な忘却を軽減するための下位互換性のあるアプローチに焦点を当ててきましたが、最近の研究では、新しいタスクのパフォーマンスを向上させ、既存の下位互換性のある方法を補完するための前方互換性のある方法が導入されました。
この研究では、前方互換性を向上させるために設計された、効果的なランクに基づく機能リッチネス拡張 (RFR) 手法を導入します。
具体的には、この方法は、基本セッション中の表現の有効ランクを高め、それによって、まだ見たことのない新しいタスクに関連する、より有益な機能の組み込みを容易にします。
その結果、RFR は、下位互換性と上位互換性において 2 つの目的、つまり、特徴抽出器の変更を最小限に抑え、新しいタスクのパフォーマンスをそれぞれ向上させることを達成します。
私たちのアプローチの有効性を検証するために、有効ランクと表現のシャノン エントロピーの間の理論的な関係を確立します。
続いて、RFR を 11 のよく知られた CIL 手法に統合することで、包括的な実験を実行します。
私たちの結果は、壊滅的な物忘れを軽減しながら、新しいタスクのパフォーマンスを向上させるという私たちのアプローチの有効性を示しています。
さらに、私たちの方法は、調査した 11 ケースすべての平均増分精度を著しく向上させます。

要約(オリジナル)

Class Incremental Learning (CIL) constitutes a pivotal subfield within continual learning, aimed at enabling models to progressively learn new classification tasks while retaining knowledge obtained from prior tasks. Although previous studies have predominantly focused on backward compatible approaches to mitigate catastrophic forgetting, recent investigations have introduced forward compatible methods to enhance performance on novel tasks and complement existing backward compatible methods. In this study, we introduce an effective-Rank based Feature Richness enhancement (RFR) method, designed for improving forward compatibility. Specifically, this method increases the effective rank of representations during the base session, thereby facilitating the incorporation of more informative features pertinent to unseen novel tasks. Consequently, RFR achieves dual objectives in backward and forward compatibility: minimizing feature extractor modifications and enhancing novel task performance, respectively. To validate the efficacy of our approach, we establish a theoretical connection between effective rank and the Shannon entropy of representations. Subsequently, we conduct comprehensive experiments by integrating RFR into eleven well-known CIL methods. Our results demonstrate the effectiveness of our approach in enhancing novel-task performance while mitigating catastrophic forgetting. Furthermore, our method notably improves the average incremental accuracy across all eleven cases examined.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google