Reflecting on the State of Rehearsal-free Continual Learning with Pretrained Models

要約

基礎モデルの出現と最近の普及により、継続学習 (CL) は最近、ゼロからの継続的なトレーニングから、事前トレーニングされたモデルの継続的な適応へと移行しており、リハーサル不要の CL ベンチマーク (RFCL) で特に成功を収めています。
これを達成するために、提案されているほとんどの手法は、問題の継続的な性質に合わせてパラメータ効率の良い微調整手法 (PEFT) を適応させ、再構築しています。
ほとんどの場合、これらの PEFT スタイルの RFCL (P-RFCL) アプローチは、プロンプトまたはアダプター ベースの PEFT 上の入力条件付きクエリ メカニズムまたは正規化に基づいて、ピーク パフォーマンスを報告します。
多くの場合、既存の CL テクニックよりも説得力のあるパフォーマンスを発揮します。
しかし、その一方で、最近の批判的な研究では、最初のタスクのみでトレーニングするか、単純なノンパラメトリック ベースラインを介してトレーニングすることによって、競争力のある結果が得られることが明らかになりました。
その結果、P-RFCL における方法論の選択と、報告されている高いベン​​チマーク スコアとの関係について疑問が生じます。
この研究では、P-RFCL の強力なパフォーマンスの背後にある真の推進力とその配置をより深く理解するために、これらの質問に取り組みます。
最近のファーストタスク適応研究と、EWC や SI などの先行する CL 標準との関係。
特に、(1) 入力条件付きクエリ メカニズムに依存する P-RFCL 技術は、標準の PEFT ショートカット ソリューションに向かって崩壊することで機能するからではなく、それにもかかわらず機能することを示します。
(2) 実際に、P-RFCL 技術がシンプルで軽量な PEFT ベースラインとどのくらいの頻度で一致するかを示します。
(3) このベースラインを使用して、P-RFCL の有効性の背後にある潜在的な分母として PEFT 手法から RFCL アプローチを導き出す際の調整可能なパラメーターの暗黙の限界を特定します。
最後に、(4) 継続的な適応と最初のタスクの適応をよりよく解きほぐし、(5) 標準的な RFCL 技術を動機づけます。
最近の P-RFCL 手法を考慮した EWC または SI。

要約(オリジナル)

With the advent and recent ubiquity of foundation models, continual learning (CL) has recently shifted from continual training from scratch to the continual adaptation of pretrained models, seeing particular success on rehearsal-free CL benchmarks (RFCL). To achieve this, most proposed methods adapt and restructure parameter-efficient finetuning techniques (PEFT) to suit the continual nature of the problem. Based most often on input-conditional query-mechanisms or regularizations on top of prompt- or adapter-based PEFT, these PEFT-style RFCL (P-RFCL) approaches report peak performances; often convincingly outperforming existing CL techniques. However, on the other end, critical studies have recently highlighted competitive results by training on just the first task or via simple non-parametric baselines. Consequently, questions arise about the relationship between methodological choices in P-RFCL and their reported high benchmark scores. In this work, we tackle these questions to better understand the true drivers behind strong P-RFCL performances, their placement w.r.t. recent first-task adaptation studies, and their relation to preceding CL standards such as EWC or SI. In particular, we show: (1) P-RFCL techniques relying on input-conditional query mechanisms work not because, but rather despite them by collapsing towards standard PEFT shortcut solutions. (2) Indeed, we show how most often, P-RFCL techniques can be matched by a simple and lightweight PEFT baseline. (3) Using this baseline, we identify the implicit bound on tunable parameters when deriving RFCL approaches from PEFT methods as a potential denominator behind P-RFCL efficacy. Finally, we (4) better disentangle continual versus first-task adaptation, and (5) motivate standard RFCL techniques s.a. EWC or SI in light of recent P-RFCL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google