Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective

要約

継続的関係抽出 (CRE) における壊滅的な忘却に対処するために、現在のアプローチの多くは、新しいタスクを取得しながら以前に学習した知識をリハーサルするメモリ バッファーに依存しています。
最近、プロンプトベースの手法が、リハーサルベースの戦略に代わる強力な代替手段として登場し、強力な経験的パフォーマンスを示しています。
しかし、CRE の既存のプロンプトベースのアプローチを分析したところ、不正確なプロンプト選択、共有パラメーターの忘れを軽減するための不適切なメカニズム、タスク間およびタスク内の差異の次善の処理など、いくつかの重大な制限が特定されました。
これらの課題を克服するために、私たちはプレフィックスチューニングと専門家の混合との関係からインスピレーションを得て、各タスクにプロンプ​​トプールを採用し、タスク間の差異を強化しながら各タスク内の変動を捕捉する新しいアプローチを提案します。
さらに、共有パラメータ内の事前知識を統合する生成モデルを組み込んで、明示的なデータ ストレージの必要性を排除します。
広範な実験により、私たちのアプローチの有効性が検証され、継続的関係抽出において最先端のプロンプトベースおよびリハーサル不要の方法よりも優れたパフォーマンスが実証されました。

要約(オリジナル)

To address catastrophic forgetting in Continual Relation Extraction (CRE), many current approaches rely on memory buffers to rehearse previously learned knowledge while acquiring new tasks. Recently, prompt-based methods have emerged as potent alternatives to rehearsal-based strategies, demonstrating strong empirical performance. However, upon analyzing existing prompt-based approaches for CRE, we identified several critical limitations, such as inaccurate prompt selection, inadequate mechanisms for mitigating forgetting in shared parameters, and suboptimal handling of cross-task and within-task variances. To overcome these challenges, we draw inspiration from the relationship between prefix-tuning and mixture of experts, proposing a novel approach that employs a prompt pool for each task, capturing variations within each task while enhancing cross-task variances. Furthermore, we incorporate a generative model to consolidate prior knowledge within shared parameters, eliminating the need for explicit data storage. Extensive experiments validate the efficacy of our approach, demonstrating superior performance over state-of-the-art prompt-based and rehearsal-free methods in continual relation extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google