Remind of the Past: Incremental Learning with Analogical Prompts

要約

データを使用しない増分学習法はメモリにやさしいですが、履歴データがない場合、表現の変化を正確に推定して打ち消すことは困難です。
この論文では、人間の類推能力に着想を得た新しい漸進的学習方法を提案することにより、この厄介な問題に対処します。
具体的には、迅速なチューニングによって新しいデータを古いクラスに再マッピングする類推メカニズムを設計します。
新しいクラスのサンプルのみを使用して、古いモデルのターゲットの古いクラスの機能分布を模倣します。
学習されたプロンプトはさらに、過去のプロトタイプの微調整によって引き起こされた表現の変化を推定して打ち消すために使用されます。
提案された方法は、クラスとドメインの両方の増分学習設定の下で、4 つの増分学習ベンチマークで新しい最先端のパフォーマンスを設定します。
各クラスの機能プロトタイプのみを保存することで、一貫してデータ再生メソッドよりも優れています。
Core50 ベンチマークでの共同トレーニングにより、経験的な上限にほぼ到達しました。
コードは \url{https://github.com/ZhihengCV/A-Prompts} で公開されます。

要約(オリジナル)

Although data-free incremental learning methods are memory-friendly, accurately estimating and counteracting representation shifts is challenging in the absence of historical data. This paper addresses this thorny problem by proposing a novel incremental learning method inspired by human analogy capabilities. Specifically, we design an analogy-making mechanism to remap the new data into the old class by prompt tuning. It mimics the feature distribution of the target old class on the old model using only samples of new classes. The learnt prompts are further used to estimate and counteract the representation shift caused by fine-tuning for the historical prototypes. The proposed method sets up new state-of-the-art performance on four incremental learning benchmarks under both the class and domain incremental learning settings. It consistently outperforms data-replay methods by only saving feature prototypes for each class. It has almost hit the empirical upper bound by joint training on the Core50 benchmark. The code will be released at \url{https://github.com/ZhihengCV/A-Prompts}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google