See the Unseen: Better Context-Consistent Knowledge-Editing by Noises

要約

知識編集は、大規模言語モデル (LLM) の知識を更新し、LLM の解釈可能性と応用に貢献します。
ただし、知識の適用にはコンテキスト一貫性があり、LLM は異なるコンテキストで同じ知識を思い出すことができます。
既存の作品はこの性質を無視しており、編集に一般性が欠けています。
この論文では、同じ知識を思い出す際の LLM に対する異なるコンテキストの影響がガウスのような分布に従うことを経験的に発見しました。
次に、ガウス ノイズをサンプリングして、LLM を更新する際のさまざまなコンテキストの影響をシミュレートします。
これにより、編集された知識が適用される目に見えないコンテキストを LLM に認識させることができるため、編集の一般化が向上します。
3 つの LLM に関する実験結果は、私たちの方法の有効性を実証し、またノイズによって私たちの方法を他の微調整 LLM と区別します。

要約(オリジナル)

Knowledge-editing updates knowledge of large language models (LLMs) and contributes to the interpretability and application of LLMs. However, knowledge applying is context-consistent: LLMs can recall the same knowledge in different contexts. Existing works ignore this property and the editing lacks generalization. In this paper, we empirically find that the effects of different contexts upon LLMs in recalling the same knowledge follow a Gaussian-like distribution. We then sample Gaussian noises to simulate the effects of different contexts when updating LLMs. By such, we can make LLMs see the unseen contexts where the edited knowledge will be applied, therefore improving the editing generalization. Experimental results on three LLMs demonstrate the effectiveness of our methods and also distinguish our methods from the others of fine-tuning LLMs by noises.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google