CP-Prompt: Composition-Based Cross-modal Prompting for Domain-Incremental Continual Learning

要約

クロスモーダル領域増加学習(DIL)の重要な課題は、同じタスクの下で異なる特徴分布を持つ新しいデータから、古いデータを忘れることなく学習モデルが継続的に学習できるようにすることである。しかし、既存の手法では、領域内知識抽出と領域間共通プロンプト戦略が欠如しているため、高い忘却率が生じている。本論文では、限定されたパラメータを学習することで、新しいドメインを学習し、既存の特徴分布を忘れることを回避するよう、事前学習されたモデルに指示する、シンプルで効果的なフレームワークCP-Promptを提案する。CP-Promptは、パーソナライズされたプロンプトをマルチヘッド自己注意層に構成的に挿入することでドメイン内知識を獲得し、次に共通のプロンプト戦略でドメイン間知識を学習する。CP-Promptは、広く評価されている3つのDILタスクにおいて、最先端のベースラインと比較して優れた結果を示している。ソースコードはhttps://github.com/dannis97500/CP_Prompt。

要約(オリジナル)

The key challenge of cross-modal domain-incremental learning (DIL) is to enable the learning model to continuously learn from novel data with different feature distributions under the same task without forgetting old ones. However, existing top-performing methods still cause high forgetting rates, by lacking intra-domain knowledge extraction and inter-domain common prompting strategy. In this paper, we propose a simple yet effective framework, CP-Prompt, by training limited parameters to instruct a pre-trained model to learn new domains and avoid forgetting existing feature distributions. CP-Prompt captures intra-domain knowledge by compositionally inserting personalized prompts on multi-head self-attention layers and then learns the inter-domain knowledge with a common prompting strategy. CP-Prompt shows superiority compared with state-of-the-art baselines among three widely evaluated DIL tasks. The source code is available at https://github.com/dannis97500/CP_Prompt.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL