UnKE: Unstructured Knowledge Editing in Large Language Models

要約

最近の知識編集手法は主に、大規模な言語モデルで構造化知識を変更することに焦点を当てており、構造化知識がキーと値のペアとして MLP 層または特定のニューロンにローカルに保存されているという前提に大きく依存しています。
しかし、このタスク設定では、現実世界の知識のかなりの部分が、長文コンテンツ、ノイズ、および複雑かつ包括的な性質を特徴とする非構造化形式で保存されているという事実が見落とされています。
以前の方法 (MEMIT など) で使用されていた仮定に基づいて実行される「知識の検索」および「用語駆動の最適化」技術は、非構造化知識には適していません。
これらの課題に対処するために、我々は、レイヤー次元とトークン次元における以前の仮定を拡張する、新しい非構造化知識編集方法、すなわち UnKE を提案します。
まず、レイヤー次元では、「知識の検索」ステップを破棄し、最初の数レイヤーをキーとして扱います。これにより、レイヤー全体に知識のストレージが拡張され、「知識はローカルに保存されている」という仮定が打ち破られます。
次に、トークン次元のすべての入力トークンにわたって「用語主導の最適化」を「原因主導の最適化」に置き換え、キー ジェネレーターの最後の層を直接最適化し、必要なキー ベクトルを生成するための編集を実行します。
UnKE は、レイヤー レベルでキーと値のペアを利用することで、MLP レイヤーとアテンション レイヤーの両方の可能性を活用して、複雑かつ包括的な非構造化知識を効果的に表現および編集します。
新しく提案された非構造知識編集データセット (UnKEBench) と従来の構造化データセットの結果は、UnKE が強力なベースラインを上回る顕著なパフォーマンスを達成していることを示しています。

要約(オリジナル)

Recent knowledge editing methods have primarily focused on modifying structured knowledge in large language models, heavily relying on the assumption that structured knowledge is stored as key-value pairs locally in MLP layers or specific neurons. However, this task setting overlooks the fact that a significant portion of real-world knowledge is stored in an unstructured format, characterized by long-form content, noise, and a complex yet comprehensive nature. The ‘knowledge locating’ and ‘term-driven optimization’ techniques conducted from the assumption used in previous methods (e.g., MEMIT) are ill-suited for unstructured knowledge. To address these challenges, we propose a novel unstructured knowledge editing method, namely UnKE, which extends previous assumptions in the layer dimension and token dimension. Firstly, in the layer dimension, we discard the ‘knowledge locating’ step and treat first few layers as the key, which expand knowledge storage through layers to break the ‘knowledge stored locally’ assumption. Next, we replace ‘term-driven optimization’ with ‘cause-driven optimization’ across all inputted tokens in the token dimension, directly optimizing the last layer of the key generator to perform editing to generate the required key vectors. By utilizing key-value pairs at the layer level, UnKE effectively represents and edits complex and comprehensive unstructured knowledge, leveraging the potential of both the MLP and attention layers. Results on newly proposed unstructure knowledge editing dataset (UnKEBench) and traditional structured datasets demonstrate that UnKE achieves remarkable performance, surpassing strong baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google