SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model

要約

継続学習の目標は、逐次到着するデータを学習する際の認識モデルの性能を向上させることである。ほとんどの既存の研究は、ゼロから学習することを前提に確立されているが、事前学習の利点を取り入れる取り組みが増加している。しかし、漸進的なタスクごとに、汎化可能性を維持しながら、どのように適応的に事前学習された知識を利用するかは、依然として未解決の問題である。本研究では、事前訓練されたモデル上での継続的学習（CLPM）に関する広範な分析を行い、重要な課題を漸進的なオーバーフィッティング問題に帰着させる。選択的に学習速度を下げることで、表現層におけるこの問題をほぼ解決できることを観察し、我々は、クラスごとの分布をモデル化し、ポストホックファッションで分類層を整列させることで、分類層をさらに改善する、SLCA（Slow Learner with Classifier Alignment）と名付けられた、シンプルだが非常に効果的なアプローチを提案する。様々なシナリオにおいて、我々の提案はCLPMの大幅な改善（例えば、Split CIFAR-100、Split ImageNet-R、Split CUB-200、Split Cars-196において、それぞれ最大49.76%、50.05%、44.69%、40.16%）を実現し、最先端のアプローチを大きく上回る。このような強力なベースラインに基づいて、重要な要因と有望な方向性を詳細に分析し、その後の研究を促進する。コードはhttps://github.com/GengDavid/SLCA。

要約(オリジナル)

The goal of continual learning is to improve the performance of recognition models in learning sequentially arrived data. Although most existing works are established on the premise of learning from scratch, growing efforts have been devoted to incorporating the benefits of pre-training. However, how to adaptively exploit the pre-trained knowledge for each incremental task while maintaining its generalizability remains an open question. In this work, we present an extensive analysis for continual learning on a pre-trained model (CLPM), and attribute the key challenge to a progressive overfitting problem. Observing that selectively reducing the learning rate can almost resolve this issue in the representation layer, we propose a simple but extremely effective approach named Slow Learner with Classifier Alignment (SLCA), which further improves the classification layer by modeling the class-wise distributions and aligning the classification layers in a post-hoc fashion. Across a variety of scenarios, our proposal provides substantial improvements for CLPM (e.g., up to 49.76%, 50.05%, 44.69% and 40.16% on Split CIFAR-100, Split ImageNet-R, Split CUB-200 and Split Cars-196, respectively), and thus outperforms state-of-the-art approaches by a large margin. Based on such a strong baseline, critical factors and promising directions are analyzed in-depth to facilitate subsequent research. Code has been made available at: https://github.com/GengDavid/SLCA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL