Knowledge Editing through Chain-of-Thought

要約

大規模言語モデル (LLM) は、幅広い自然言語処理 (NLP) タスクにわたって優れた機能を実証してきました。
ただし、頻繁な再トレーニングには多額のコストがかかるため、進化する世界の知識に合わせてこれらのモデルを最新の状態に保つことは依然として大きな課題です。
この課題に対処するために、モデルを最初から再構築せずに LLM を新しい情報で更新するナレッジ編集手法が登場しました。
その中でも、インコンテキスト編集パラダイムは、モデルの元の機能を維持しながら新しい知識を統合する際の有効性で際立っています。
その可能性にもかかわらず、既存のコンテキスト内ナレッジ編集手法はタスク固有であることが多く、構造化ナレッジ トリプルを使用するマルチホップ QA タスクに主に焦点を当てています。
さらに、タスクの分解を促す少数のショットに依存しているため、不安定になり、さまざまなタスクにわたって一般化する効果が低くなります。
これらの制限に対応して、私たちは、再トレーニングせずにさまざまなタスクにわたって LLM を柔軟かつ効率的に更新する新しい知識編集フレームワークである EditCoT を提案します。
EditCoT は、特定の入力に対して思考連鎖 (CoT) を生成し、更新された知識に基づいて CoT エディターを使用してこの CoT プロセスを反復的に改良することによって機能します。
私たちは、複数の言語とタスクをカバーする多様なベンチマークにわたって EditCoT を評価します。
結果は、私たちのアプローチが既存の方法と比較して優れた一般化、有効性、安定性を提供しながら最先端のパフォーマンスを達成し、知識更新の分野で大きな進歩を示すことを示しています。
コードとデータは https://github.com/bebr2/EditCoT から入手できます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated exceptional capabilities across a wide range of natural language processing (NLP) tasks. However, keeping these models up-to-date with evolving world knowledge remains a significant challenge due to the high costs of frequent retraining. To address this challenge, knowledge editing techniques have emerged to update LLMs with new information without rebuilding the model from scratch. Among these, the in-context editing paradigm stands out for its effectiveness in integrating new knowledge while preserving the model’s original capabilities. Despite its potential, existing in-context knowledge editing methods are often task-specific, focusing primarily on multi-hop QA tasks using structured knowledge triples. Moreover, their reliance on few-shot prompting for task decomposition makes them unstable and less effective in generalizing across diverse tasks. In response to these limitations, we propose EditCoT, a novel knowledge editing framework that flexibly and efficiently updates LLMs across various tasks without retraining. EditCoT works by generating a chain-of-thought (CoT) for a given input and then iteratively refining this CoT process using a CoT editor based on updated knowledge. We evaluate EditCoT across a diverse range of benchmarks, covering multiple languages and tasks. The results demonstrate that our approach achieves state-of-the-art performance while offering superior generalization, effectiveness, and stability compared to existing methods, marking a significant advancement in the field of knowledge updating. Code and data are available at: https://github.com/bebr2/EditCoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google