Componential Prompt-Knowledge Alignment for Domain Incremental Learning

要約

ドメイン増分学習（DIL）は、過去の知識を保持および利用しながら、ドメイン全体の非定常データストリームから学習することを目指しています。
プロンプトベースの方法は、マルチドメインの知識をプロンプトパラメーターに効果的に保存し、クロスドメインプロンプトフュージョンを通じて高度なパフォーマンスを取得しますが、本質的な制限を明らかにします。ドメイン固有のプロンプト間のコンポーネントごとの不整合は、矛盾する知識の統合と分解予測につながります。
これは、プロンプト内の知識コンポーネントのランダムな位置から生じます。ここでは、無関係なコンポーネント融合が干渉を導入します。これに対処するために、トレーニング中にコンポーネントにアウェアのプロンプト整列を導入する新しいプロンプトベースのDILメソッドであり、モデルの学習と推論能力の両方を大幅に改善するコンポーネントベースのDILメソッドを提案します。
KA-Promptは2つのフェーズで動作します。（1）初期コンポーネンス構造構成。新しいドメインに関連する知識を含む古いプロンプトのセットが貪欲な検索を介して採掘されます。これにより、新しいプロンプトを初期化して再利用可能な知識移転を実現し、新しいプロンプト間の固有の整合を確立します。
（2）オンラインアライメント保存。ターゲットの古いプロンプトを動的に識別し、新しいプロンプトが進化するにつれて適応コンポーネンスの一貫性の制約を適用します。
DILベンチマークでの広範な実験は、KA-Promptの有効性を示しています。
ソースコードは、https：//github.com/zhoujiahuan1991/icml2025-ka-plomptで入手できます

要約(オリジナル)

Domain Incremental Learning (DIL) aims to learn from non-stationary data streams across domains while retaining and utilizing past knowledge. Although prompt-based methods effectively store multi-domain knowledge in prompt parameters and obtain advanced performance through cross-domain prompt fusion, we reveal an intrinsic limitation: component-wise misalignment between domain-specific prompts leads to conflicting knowledge integration and degraded predictions. This arises from the random positioning of knowledge components within prompts, where irrelevant component fusion introduces interference.To address this, we propose Componential Prompt-Knowledge Alignment (KA-Prompt), a novel prompt-based DIL method that introduces component-aware prompt-knowledge alignment during training, significantly improving both the learning and inference capacity of the model. KA-Prompt operates in two phases: (1) Initial Componential Structure Configuring, where a set of old prompts containing knowledge relevant to the new domain are mined via greedy search, which is then exploited to initialize new prompts to achieve reusable knowledge transfer and establish intrinsic alignment between new and old prompts. (2) Online Alignment Preservation, which dynamically identifies the target old prompts and applies adaptive componential consistency constraints as new prompts evolve. Extensive experiments on DIL benchmarks demonstrate the effectiveness of our KA-Prompt. Our source code is available at https://github.com/zhoujiahuan1991/ICML2025-KA-Prompt

arxiv情報

提供元, 利用サービス

arxiv.jp, Google