SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model

要約

継続学習の目標は、順次到着するデータを学習する際の認識モデルのパフォーマンスを向上させることです。
既存の作品のほとんどはゼロから学習することを前提に構築されていますが、事前トレーニングの利点を組み込むことに多くの努力が注がれています。
ただし、一般化可能性を維持しながら、各増分タスクの事前トレーニングされた知識を適応的に活用する方法は未解決の問題のままです。
この研究では、事前トレーニング済みモデル (CLPM) での継続学習に関する広範な分析を提示し、主要な課題は進行性の過学習問題にあると考えます。
選択的に学習率を下げることで表現層のこの問題をほぼ解決できることを観察し、分類子アライメントによるスローラーナー (SLCA) というシンプルだが非常に効果的なアプローチを提案します。これは、クラスごとの分布をモデル化し、位置合わせすることで分類層をさらに改善します。
事後的な方法で分類層を作成します。
さまざまなシナリオにわたって、私たちの提案は CLPM に大幅な改善をもたらします (たとえば、Split CIFAR-100、Split ImageNet-R、Split CUB-200、および Split Cars-196 で最大 49.76%、50.05%、44.69%、および 40.16%、
それぞれ）、したがって、最先端のアプローチを大幅に上回ります。
このような強力なベースラインに基づいて、重要な要因と有望な方向性が詳細に分析され、その後の研究が促進されます。

要約(オリジナル)

The goal of continual learning is to improve the performance of recognition models in learning sequentially arrived data. Although most existing works are established on the premise of learning from scratch, growing efforts have been devoted to incorporating the benefits of pre-training. However, how to adaptively exploit the pre-trained knowledge for each incremental task while maintaining its generalizability remains an open question. In this work, we present an extensive analysis for continual learning on a pre-trained model (CLPM), and attribute the key challenge to a progressive overfitting problem. Observing that selectively reducing the learning rate can almost resolve this issue in the representation layer, we propose a simple but extremely effective approach named Slow Learner with Classifier Alignment (SLCA), which further improves the classification layer by modeling the class-wise distributions and aligning the classification layers in a post-hoc fashion. Across a variety of scenarios, our proposal provides substantial improvements for CLPM (e.g., up to 49.76%, 50.05%, 44.69% and 40.16% on Split CIFAR-100, Split ImageNet-R, Split CUB-200 and Split Cars-196, respectively), and thus outperforms state-of-the-art approaches by a large margin. Based on such a strong baseline, critical factors and promising directions are analyzed in-depth to facilitate subsequent research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google