Knowledge in Superposition: Unveiling the Failures of Lifelong Knowledge Editing for Large Language Models

要約

ナレッジ編集は、大規模言語モデル (LLM) 内の古い知識や不正確な知識を更新することを目的としています。
ただし、現在の知識編集方法では、生涯編集できる拡張性が限られています。
この研究では、生涯にわたる知識編集が失敗する根本的な理由を探ります。
まず、最先端の知識編集手法を支える線形連想記憶から派生した閉形式ソリューションから始めます。
私たちは、ソリューションを 1 回の編集から生涯にわたる編集に拡張し、厳密な数学的導出を通じて、最終的なソリューション内の干渉項を特定し、知識の編集が無関係な知識に影響を与える可能性があることを示唆しています。
干渉項をさらに分析すると、知識表現間の重ね合わせとの密接な関係が明らかになります。
言語モデルに知識の重ね合わせが存在しない場合、干渉項は消滅し、損失のない知識編集が可能になります。
多数の言語モデルにわたる実験により、知識の重ね合わせは普遍的であり、明確なスケーリング則を備えた高い尖度、ゼロ平均、裾の重い分布を示すことが明らかになりました。
最終的に、理論と実験を組み合わせることで、知識の重ね合わせが生涯にわたる編集の失敗の根本的な理由であることを証明します。
さらに、これは重ね合わせの観点から知識編集を調査した最初の研究であり、多数の実世界の言語モデルにわたる重ね合わせの包括的な観察を提供します。
コードは https://github.com/ChenhuiHu/knowledge_in_superposition で入手できます。

要約(オリジナル)

Knowledge editing aims to update outdated or incorrect knowledge in large language models (LLMs). However, current knowledge editing methods have limited scalability for lifelong editing. This study explores the fundamental reason why knowledge editing fails in lifelong editing. We begin with the closed-form solution derived from linear associative memory, which underpins state-of-the-art knowledge editing methods. We extend the solution from single editing to lifelong editing, and through rigorous mathematical derivation, identify an interference term in the final solution, suggesting that editing knowledge may impact irrelevant knowledge. Further analysis of the interference term reveals a close relationship with superposition between knowledge representations. When knowledge superposition does not exist in language models, the interference term vanishes, allowing for lossless knowledge editing. Experiments across numerous language models reveal that knowledge superposition is universal, exhibiting high kurtosis, zero mean, and heavy-tailed distributions with clear scaling laws. Ultimately, by combining theory and experiments, we demonstrate that knowledge superposition is the fundamental reason for the failure of lifelong editing. Moreover, this is the first study to investigate knowledge editing from the perspective of superposition and provides a comprehensive observation of superposition across numerous real-world language models. Code available at https://github.com/ChenhuiHu/knowledge_in_superposition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google