PIP-KAG: Mitigating Knowledge Conflicts in Knowledge-Augmented Generation via Parametric Pruning

要約

知識総生成（KAG）は、外部の知識を統合することにより、大規模な言語モデル（LLM）の内部メモリを更新することに大きな期待を示しています。
ただし、KAGは、内部メモリが外部情報と矛盾する場合、必然的に知識の競合に直面しています。
これらの紛争を緩和するための現在のアプローチは、主に外部の知識の利用の改善に焦点を当てています。
ただし、これらの方法は、内部の知識がLLMの生成プロセスに影響を与え続けているため、知識の競合の問題を緩和する上での有効性のみが限られていることを示しています。
この論文では、LLMの内部知識を剪定し、LLMSが外部ソースをより適切に活用できるようにプラグアンドプレイ適応モジュールを組み込んだパラメトリックプルーニングベースの知識補給（PIP-KAG）アプローチを提案します。
さらに、LLMの幻覚に基づいてCoconflictQAベンチマークを構築し、質問に答える際の文脈的忠実さをよりよく評価します。
CoconflictQAの実験結果は、PIP-KAGが知識の競合を大幅に減らし、コンテキストの忠実度を改善することを示しています。
特に、PIP-KAGはLLMのパラメーターを13％削減し、KAGフレームワーク内のLLMのパラメーター効率を高めます。
すべてのコードはhttps://github.com/openbmb/pip-kagで入手できます。

要約(オリジナル)

Knowledge-Augmented Generation (KAG) has shown great promise in updating the internal memory of Large Language Models (LLMs) by integrating external knowledge. However, KAG inevitably faces knowledge conflicts when the internal memory contradicts external information. Current approaches to mitigating these conflicts mainly focus on improving external knowledge utilization. However, these methods have shown only limited effectiveness in mitigating the knowledge conflict problem, as internal knowledge continues to influence the generation process of LLMs. In this paper, we propose a ParametrIc Pruning-based Knowledge-Augmented Generation (PIP-KAG) approach, which prunes internal knowledge of LLMs and incorporates a plug-and-play adaptation module to help LLMs better leverage external sources. Additionally, we construct the CoConflictQA benchmark based on the hallucination of LLMs to better evaluate contextual faithfulness during answering questions. Experimental results on CoConflictQA demonstrate that PIP-KAG significantly reduces knowledge conflicts and improves context fidelity. Notably, PIP-KAG reduces LLM’s parameters by 13%, enhancing parameter efficiency in LLMs within the KAG framework. All codes are available at https://github.com/OpenBMB/PIP-KAG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google