Rethinking Class-incremental Learning in the Era of Large Pre-trained Models via Test-Time Adaptation

要約

クラス増分学習 (CIL) は、以前に学習した情報を忘れることなく、新しいタスクからクラスを分類することを順番に学習する難しいタスクです。
大規模な事前トレーニング済みモデル (PTM) の出現により、高度に転送可能な PTM 表現により CIL の進歩が急速に進み、少数のパラメータのセットを調整するだけで従来の CIL と比較して最先端のパフォーマンスが得られます。
ゼロから訓練されたメソッド。
ただし、各タスクで微調整を繰り返すと、PTM の豊富な表現が破壊され、さらに以前のタスクを忘れてしまいます。
CIL の PTM の安定性と可塑性のバランスを取るために、新しいタスクごとのトレーニングを省略し、代わりに最初のタスクのみで PTM をトレーニングし、その後、テスト時適応を使用して推論時にその表現を改良するという新しい視点を提案します (
TTA）。
具体的には、最初に最初のタスクでアダプターを使用して PTM を微調整し、次にタスク固有の機能を学習するために各テスト インスタンスで PTM のレイヤー ノルム パラメーターを調整し、最後にクラス増分学習のためのテスト時間適応 (TTACIL) を提案します。
安定性を維持するために、それらを適応モデルにリセットします。
その結果、TTACIL は忘れられることがなく、豊富な PTM 機能によって各タスクに恩恵をもたらします。
さらに、設計により、TTACIL は一般的なデータ破損に対して堅牢です。
私たちの手法は、クリーンなデータと破損したデータの両方で複数の CIL ベンチマークで評価した場合、いくつかの最先端の CIL 手法よりも優れたパフォーマンスを発揮します。
コードは https://github.com/IemProg/TTACIL から入手できます。

要約(オリジナル)

Class-incremental learning (CIL) is a challenging task that involves sequentially learning to categorize classes from new tasks without forgetting previously learned information. The advent of large pre-trained models (PTMs) has fast-tracked the progress in CIL due to the highly transferable PTM representations, where tuning a small set of parameters leads to state-of-the-art performance when compared with the traditional CIL methods that are trained from scratch. However, repeated fine-tuning on each task destroys the rich representations of the PTMs and further leads to forgetting previous tasks. To strike a balance between the stability and plasticity of PTMs for CIL, we propose a novel perspective of eliminating training on every new task and instead train PTM only on the first task, and then refine its representation at inference time using test-time adaptation (TTA). Concretely, we propose Test-Time Adaptation for Class-Incremental Learning (TTACIL) that first fine-tunes PTMs using Adapters on the first task, then adjusts Layer Norm parameters of the PTM on each test instance for learning task-specific features, and finally resets them back to the adapted model to preserve stability. As a consequence, our TTACIL does not undergo any forgetting, while benefiting each task with the rich PTM features. Additionally, by design, our TTACIL is robust to common data corruptions. Our method outperforms several state-of-the-art CIL methods when evaluated on multiple CIL benchmarks under both clean and corrupted data. Code is available at: https://github.com/IemProg/TTACIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google