History Matters: Temporal Knowledge Editing in Large Language Model

要約

大規模な言語モデル内に保存されている知識を改訂または更新するという必須のタスクは、2 つの異なる原因から発生します。1 つは修正されるべきモデルに固有のエラー、もう 1 つは更新されるべき現実世界の外部変化による古い知識です。
モデル編集における一般的な取り組みは、異なる理由から生じるこれら 2 つの異なるカテゴリの編集を混同し、モデル内の元の知識を新しい知識に直接変更するものです。
ただし、モデルの元の知識を保存することが引き続き適切であると主張します。
具体的には、世界的な力学の進化によりモデルの知識が古くなった場合、新しく発見された知識を統合しながら、歴史的な知識の記憶を保持する必要があります。
この研究では、時間的知識編集 (TKE) のタスクを導入し、現在のモデル編集方法を評価するためのベンチマーク AToKe (時間的知識編集の評価) を確立します。
既存のモデル編集方法はモデルに新しい知識を記憶させるのに効果的ですが、編集されたモデルは歴史的な知識を壊滅的に忘れてしまうことがわかりました。
このギャップに対処するために、既存の編集モデルを強化するための、時間目標付きマルチ編集 (METO) と呼ばれるシンプルで一般的なフレームワークを提案します。このフレームワークは、過去の知識と新しい知識の両方を同時に編集し、各ファクトの時間に対するモデルの予測を最適化します。
私たちの評価では、AToKe はまだ難しいものの、METO は新しい知識の学習の有効性を維持し、同時に歴史的な知識を利用する編集モデルのパフォーマンスを大幅に向上させることを示しています。

要約(オリジナル)

The imperative task of revising or updating the knowledge stored within large language models arises from two distinct sources: intrinsic errors inherent in the model which should be corrected and outdated knowledge due to external shifts in the real world which should be updated. Prevailing efforts in model editing conflate these two distinct categories of edits arising from distinct reasons and directly modify the original knowledge in models into new knowledge. However, we argue that preserving the model’s original knowledge remains pertinent. Specifically, if a model’s knowledge becomes outdated due to evolving worldly dynamics, it should retain recollection of the historical knowledge while integrating the newfound knowledge. In this work, we introduce the task of Temporal Knowledge Editing (TKE) and establish a benchmark AToKe (Assessment of TempOral Knowledge Editing) to evaluate current model editing methods. We find that while existing model editing methods are effective at making models remember new knowledge, the edited model catastrophically forgets historical knowledge. To address this gap, we propose a simple and general framework termed Multi-Editing with Time Objective (METO) for enhancing existing editing models, which edits both historical and new knowledge concurrently and optimizes the model’s prediction for the time of each fact. Our assessments demonstrate that while AToKe is still difficult, METO maintains the effectiveness of learning new knowledge and meanwhile substantially improves the performance of edited models on utilizing historical knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google