SetKE: Knowledge Editing for Knowledge Elements Overlap

要約

大規模な言語モデル（LLMS）は、検索や質問への回答などのタスクに優れていますが、新しい知識を組み込み、不正確さや幻覚を減らすために更新が必要です。
微調整や漸進的な学習などの従来の更新方法は、過剰適合や高い計算コストなどの課題に直面しています。
知識編集（KE）は有望な代替手段を提供しますが、多くの場合、知識要素のオーバーラップ（KEO）現象を見落とします。複数のトリプレットが共通の要素を共有し、編集競合につながります。
既存のKEデータセットにおけるKEOの有病率を特定し、現在のKEメソッドに大きな影響を与え、そのようなトリプレットの取り扱いにパフォーマンスの劣化を引き起こします。
これに対処するために、新しい定式化、知識セット編集（KSE）を提案し、Tripletsのセットを同時に編集する方法であるSetkeを紹介します。
実験結果は、Setkeが主流のLLMのKEOシナリオで既存の方法を上回ることを示しています。
さらに、Keoトリプレットを含むデータセットであるEditsetを紹介し、包括的なベンチマークを提供します。

要約(オリジナル)

Large Language Models (LLMs) excel in tasks such as retrieval and question answering but require updates to incorporate new knowledge and reduce inaccuracies and hallucinations. Traditional updating methods, like fine-tuning and incremental learning, face challenges such as overfitting and high computational costs. Knowledge Editing (KE) provides a promising alternative but often overlooks the Knowledge Element Overlap (KEO) phenomenon, where multiple triplets share common elements, leading to editing conflicts. We identify the prevalence of KEO in existing KE datasets and show its significant impact on current KE methods, causing performance degradation in handling such triplets. To address this, we propose a new formulation, Knowledge Set Editing (KSE), and introduce SetKE, a method that edits sets of triplets simultaneously. Experimental results demonstrate that SetKE outperforms existing methods in KEO scenarios on mainstream LLMs. Additionally, we introduce EditSet, a dataset containing KEO triplets, providing a comprehensive benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google