REP: Resource-Efficient Prompting for Rehearsal-Free Continual Learning

要約

プロンプトに基づいてガイドされる最近のリハーサル不要の手法は、一般に、継続的にデータが変動する視覚関連の継続学習 (CL) シナリオに優れています。
これらのメソッドを実際のデバイスに展開できるようにするには、トレーニング中に高いリソース効率が含まれている必要があります。
この論文では、リハーサル不要のプロンプトベースの手法のリソース効率の向上を目的とした、リソース効率の高いプロンプティング (REP) を紹介します。
私たちの主な焦点は、迅速な学習中に計算コストとメモリコストを削減しながら、壊滅的なトレードオフを正確に回避することです。
これは、慎重にプロビジョニングされたモデルを使用して入力データを強化する迅速なプロンプト選択を活用し、プロンプト更新段階での適応トークン マージ (AToM) およびレイヤー ドロップ (ALD) アルゴリズムを開発することによって実現されます。
AToM と ALD は、新しいタスクを学習する際に、タスク固有の機能を損なうことなく、データとモデルのディメンション全体で選択的なスキップを実行します。
私たちは、3 つの画像分類データセットに対する広範な実験を通じて、現在の最先端の ViT および CNN ベースの手法よりも優れた REP のリソース効率を検証します。

要約(オリジナル)

Recent rehearsal-free methods, guided by prompts, generally excel in vision-related continual learning (CL) scenarios with continuously drifting data. To be deployable on real-world devices, these methods must contain high resource efficiency during training. In this paper, we introduce Resource-Efficient Prompting (REP), which targets improving the resource efficiency of prompt-based rehearsal-free methods. Our key focus is on avoiding catastrophic trade-offs with accuracy while trimming computational and memory costs during prompt learning. We achieve this by exploiting swift prompt selection that enhances input data using a carefully provisioned model, and by developing adaptive token merging (AToM) and layer dropping (ALD) algorithms for the prompt updating stage. AToM and ALD perform selective skipping across the data and model dimensions without compromising task-specific features while learning new tasks. We validate REP’s superior resource efficiency over current state-of-the-art ViT- and CNN-based methods through extensive experiments on three image classification datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google