Learning to Edit: Aligning LLMs with Knowledge Editing

要約

他の入力全体のパフォーマンスに悪影響を与えることなく、大規模言語モデル (LLM) 内の少数の知識を効率的に変更することを目的とした知識編集手法が、幅広い注目を集めています。
しかし、既存の方法は主に更新された知識を記憶することに依存しており、LLM が質問に答える際に新しい知識と固有の知識を効果的に組み合わせることが妨げられています。
この目的を達成するために、私たちは、「人間に魚を釣るように教える」という哲学に触発され、LLM に最新の知識を入力質問に適用するよう教えることに焦点を当てた、編集学習 (LTE) フレームワークを提案します。
LTE は 2 フェーズのプロセスを特徴とします。(i) アライメント フェーズ。細心の注意を払って厳選された並列データセット上で LLM を微調整し、スコープ外の情報と言語熟練度を維持しながら、信頼性の高いスコープ内の編集を行います。
(ii) 推論フェーズでは、リアルタイムで大量の知識を編集するための検索ベースのメカニズムが採用されています。
私たちのアプローチを、4 つの一般的なナレッジ編集ベンチマークと 2 つの LLM アーキテクチャにわたる 7 つの高度なベースラインと比較することで、ナレッジ編集のパフォーマンス、バッチおよび逐次編集の両方における堅牢性、一般的なタスクへの最小限の干渉、および迅速な編集速度における LTE の優位性を実証します。
データとコードは https://github.com/YJiangcm/LTE で入手できます。

要約(オリジナル)

Knowledge editing techniques, aiming to efficiently modify a minor proportion of knowledge in large language models (LLMs) without negatively impacting performance across other inputs, have garnered widespread attention. However, existing methods predominantly rely on memorizing the updated knowledge, impeding LLMs from effectively combining the new knowledge with their inherent knowledge when answering questions. To this end, we propose a Learning to Edit (LTE) framework, focusing on teaching LLMs to apply updated knowledge into input questions, inspired by the philosophy of ‘Teach a man to fish.’ LTE features a two-phase process: (i) the Alignment Phase, which fine-tunes LLMs on a meticulously curated parallel dataset to make reliable, in-scope edits while preserving out-of-scope information and linguistic proficiency; and (ii) the Inference Phase, which employs a retrieval-based mechanism for real-time and mass knowledge editing. By comparing our approach with seven advanced baselines across four popular knowledge editing benchmarks and two LLM architectures, we demonstrate LTE’s superiority in knowledge editing performance, robustness in both batch and sequential editing, minimal interference on general tasks, and rapid editing speeds. The data and code are available at https://github.com/YJiangcm/LTE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google