LW2G: Learning Whether to Grow for Prompt-based Continual Learning

要約

継続学習 (CL) は、非定常シナリオで学習し、逐次的なタスクから知識を徐々に獲得して維持することを目的としています。
最近のプロンプトベースの継続学習 (PCL) は、事前トレーニング済みモデル (PTM) を使用して目覚ましいパフォーマンスを達成しました。
これらのアプローチでは、新しいタスクを学習するたびに新しいプロンプトのセットを追加することでプロンプト セットのプールを拡大し (\emph{プロンプト学習})、マッチング メカニズムを採用して各テスト サンプルに正しいセットを選択します (\emph{プロンプトの取得})。
これまでの研究は、照合メカニズムを改善して即時検索精度 (PRA) を向上させることにより、後者の段階に焦点を当てていました。
タスク間の知識の促進を促進し、効果的かつ効率的なプロンプト セット プールを形成するために、タスク間の差異に基づいて \textbf{Learn Should to Grow (LW2G)} する前段階のプラグイン モジュールを提案します。
具体的には、複数のタスクが特定の共通点を共有する場合には、プロンプトの共有セットが利用され、新しいタスクと以前のタスクの間に大きな違いがある場合には、新しいセットが追加されます。
勾配投影連続学習にインスピレーションを受けて、当社の LW2G は、古い特徴空間の直交補体上に元の勾配を外科的に変更することによって、新しいタスクの学習に課せられる障害を測定する、Hinder Forward Capability (HFC) と呼ばれるメトリクスを開発します。
HFC では、自動化スキームの動的成長アプローチが、動的しきい値を使用して成長するかどうかを適応的に学習します。
さらに、更新プロンプトと事前トレーニングされた知識の間の一貫性を確保するために勾配ベースの制約を設計し、順方向転送を強化するためにプロンプ​​トの重みを再利用する戦略を設計します。
広範な実験により、私たちの方法の有効性が示されています。
ソース コードは \url{https://github.com/RAIAN08/LW2G} で入手できます。

要約(オリジナル)

Continual Learning (CL) aims to learn in non-stationary scenarios, progressively acquiring and maintaining knowledge from sequential tasks. Recent Prompt-based Continual Learning (PCL) has achieved remarkable performance with Pre-Trained Models (PTMs). These approaches grow a prompt sets pool by adding a new set of prompts when learning each new task (\emph{prompt learning}) and adopt a matching mechanism to select the correct set for each testing sample (\emph{prompt retrieval}). Previous studies focus on the latter stage by improving the matching mechanism to enhance Prompt Retrieval Accuracy (PRA). To promote cross-task knowledge facilitation and form an effective and efficient prompt sets pool, we propose a plug-in module in the former stage to \textbf{Learn Whether to Grow (LW2G)} based on the disparities between tasks. Specifically, a shared set of prompts is utilized when several tasks share certain commonalities, and a new set is added when there are significant differences between the new task and previous tasks. Inspired by Gradient Projection Continual Learning, our LW2G develops a metric called Hinder Forward Capability (HFC) to measure the hindrance imposed on learning new tasks by surgically modifying the original gradient onto the orthogonal complement of the old feature space. With HFC, an automated scheme Dynamic Growing Approach adaptively learns whether to grow with a dynamic threshold. Furthermore, we design a gradient-based constraint to ensure the consistency between the updating prompts and pre-trained knowledge, and a prompts weights reusing strategy to enhance forward transfer. Extensive experiments show the effectiveness of our method. The source codes are available at \url{https://github.com/RAIAN08/LW2G}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google