First Session Adaptation: A Strong Replay-Free Baseline for Class-Incremental Learning

要約

クラス増分学習 (CIL) では、画像分類システムは各学習セッションで新しいクラスに公開され、増分的に更新する必要があります。
この問題にアプローチする方法では、CIL の各セッションで分類ヘッドと特徴抽出本体の両方が更新されます。
この研究では、既存の CIL アプローチの有効性を明らかにし、頭と体の適応による相対的なパフォーマンスの寄与を評価できるベースライン手法である First Session Adaptation (FSA) を開発します。
FSA は、事前トレーニングされたニューラル ネットワーク本体を最初の学習セッションにのみ適応させ、その後は修正します。
線形判別分析 (LDA) に基づいたヘッドは、適応されたボディの上に配置され、CIL を通じて正確な更新が可能になります。
FSA はリプレイフリーです。つまり、以前の継続学習セッションの例を記憶しません。
FSA を経験的に動機付けるために、まず 22 の画像分類データセットの多様な選択を検討し、ハイ/ローショットのオフライン設定でさまざまな頭と体の適応技術を評価します。
LDA ヘッドは優れたパフォーマンスを発揮し、すぐに使用できる CIL をサポートしていることがわかりました。
また、Featurewise Layer Modulation (FiLM) アダプターは、少数ショット設定では非常に効果的であり、高ショット設定では全身適応であることがわかりました。
次に、文献で以前に使用されている設定を含め、ハイショット CIL と少数ショット CIL を含むさまざまな CIL 設定を経験的に調査します。
検討した 16 の設定のうち 15 において、FSA が最先端技術よりも大幅に向上していることを示します。
FiLM アダプターを使用した FSA は、数ショット設定で特にパフォーマンスを発揮します。
これらの結果は、継続的な身体適応への現在のアプローチが期待どおりに機能していないことを示しています。
最後に、身体適応の利点を予測する、ラベルのない入力のセットに適用できる尺度を提案します。

要約(オリジナル)

In Class-Incremental Learning (CIL) an image classification system is exposed to new classes in each learning session and must be updated incrementally. Methods approaching this problem have updated both the classification head and the feature extractor body at each session of CIL. In this work, we develop a baseline method, First Session Adaptation (FSA), that sheds light on the efficacy of existing CIL approaches and allows us to assess the relative performance contributions from head and body adaption. FSA adapts a pre-trained neural network body only on the first learning session and fixes it thereafter; a head based on linear discriminant analysis (LDA), is then placed on top of the adapted body, allowing exact updates through CIL. FSA is replay-free i.e.~it does not memorize examples from previous sessions of continual learning. To empirically motivate FSA, we first consider a diverse selection of 22 image-classification datasets, evaluating different heads and body adaptation techniques in high/low-shot offline settings. We find that the LDA head performs well and supports CIL out-of-the-box. We also find that Featurewise Layer Modulation (FiLM) adapters are highly effective in the few-shot setting, and full-body adaption in the high-shot setting. Second, we empirically investigate various CIL settings including high-shot CIL and few-shot CIL, including settings that have previously been used in the literature. We show that FSA significantly improves over the state-of-the-art in 15 of the 16 settings considered. FSA with FiLM adapters is especially performant in the few-shot setting. These results indicate that current approaches to continuous body adaptation are not working as expected. Finally, we propose a measure that can be applied to a set of unlabelled inputs which is predictive of the benefits of body adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google