Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need

要約

クラス増分学習 (CIL) は、古いクラスを忘れることなく、出現する新しいクラスに適応することを目的としています。
従来の CIL モデルは、データの進化に応じて知識を継続的に取得するために、ゼロからトレーニングされます。
最近、事前トレーニングは大幅な進歩を遂げ、膨大な事前トレーニング済みモデル (PTM) が CIL で利用できるようになりました。
従来の方法とは対照的に、PTM は一般化可能な埋め込みを備えており、これを CIL に簡単に転送できます。
この研究では、PTM を使用して CIL を再検討し、CIL の中核となる要素はモデル更新のための適応性と知識伝達のための一般化可能性であると主張します。
1) まず、凍結された PTM が既に CIL に一般化可能な埋め込みを提供できることを明らかにします。
驚くべきことに、PTM の分類器をプロトタイプの特徴に継続的に設定する単純なベースライン (SimpleCIL) は、下流のタスクでトレーニングを行わなくても、最先端の技術を上回ることができます。
2) 事前トレーニング済みデータセットと下流データセット間の分布ギャップにより、モデル適応による適応性を備えた PTM をさらに育成できます。
我々は、PTM の埋め込みと分類器構築用の適応モデルを集約する AdaPt および mERge (APER) を提案します。
APER は、パラメータ効率の高い調整方法と直交的に組み合わせることができる一般的なフレームワークであり、PTM の一般化可能性と適応モデルの適応性の利点を保持しています。
3) さらに、以前の ImageNet ベースのベンチマークはデータの重複により PTM の時代には適していないことを考慮して、評価用の 4 つの新しいベンチマーク、つまり ImageNet-A、ObjectNet、OmniBenchmark、および VTAB を提案します。
広範な実験により、統一された簡潔なフレームワークによる APER の有効性が検証されます。
コードは https://github.com/zhoudw-zdw/RevisitingCIL で入手できます。

要約(オリジナル)

Class-incremental learning (CIL) aims to adapt to emerging new classes without forgetting old ones. Traditional CIL models are trained from scratch to continually acquire knowledge as data evolves. Recently, pre-training has achieved substantial progress, making vast pre-trained models (PTMs) accessible for CIL. Contrary to traditional methods, PTMs possess generalizable embeddings, which can be easily transferred for CIL. In this work, we revisit CIL with PTMs and argue that the core factors in CIL are adaptivity for model updating and generalizability for knowledge transferring. 1) We first reveal that frozen PTM can already provide generalizable embeddings for CIL. Surprisingly, a simple baseline (SimpleCIL) which continually sets the classifiers of PTM to prototype features can beat state-of-the-art even without training on the downstream task. 2) Due to the distribution gap between pre-trained and downstream datasets, PTM can be further cultivated with adaptivity via model adaptation. We propose AdaPt and mERge (APER), which aggregates the embeddings of PTM and adapted models for classifier construction. APER is a general framework that can be orthogonally combined with any parameter-efficient tuning method, which holds the advantages of PTM’s generalizability and adapted model’s adaptivity. 3) Additionally, considering previous ImageNet-based benchmarks are unsuitable in the era of PTM due to data overlapping, we propose four new benchmarks for assessment, namely ImageNet-A, ObjectNet, OmniBenchmark, and VTAB. Extensive experiments validate the effectiveness of APER with a unified and concise framework. Code is available at https://github.com/zhoudw-zdw/RevisitingCIL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google