Perturbation-Restrained Sequential Model Editing

要約

モデル編集は、大規模言語モデル（LLM）に埋め込まれた知識を、大規模な再トレーニングを行うことなく更新することに焦点を当てた新しい分野である。しかし、現在のモデル編集手法は、編集回数が増えるにつれてLLMの一般的な能力を著しく低下させ、このトレードオフがLLMの継続的な学習に大きな課題を投げかけている。本論文ではまず、逐次モデル編集における一般的能力に影響を与える要因が、編集行列の条件番号にあることを理論的に解析する。行列の条件数はその数値的感度を表すため、編集後にLLMに格納された元の知識連想がどの程度乱されるかを示すのに用いることができる。その後、統計的な知見により、この因子の値は編集回数が増えるほど大きくなり、一般的な能力の劣化を悪化させることが示された。このため、逐次編集における条件数の制約を応用したPerturbation Restraint on Upper bouNd for Editing (PRUNE)という枠組みを提案する。この制約により、編集モデルに対する摂動の上限を下げることができ、一般的な能力を保つことができる。本論文では、3つのLLMに対して3つの編集手法を用い、4つの下流タスクについて系統的な実験を行った。その結果、PRUNEは逐次モデル編集において、編集性能を効果的に維持しつつ、一般的な能力を保持できることが示された。コードはhttps://github.com/mjy1111/PRUNE。

要約(オリジナル)

Model editing is an emerging field that focuses on updating the knowledge embedded within large language models (LLMs) without extensive retraining. However, current model editing methods significantly compromise the general abilities of LLMs as the number of edits increases, and this trade-off poses a substantial challenge to the continual learning of LLMs. In this paper, we first theoretically analyze that the factor affecting the general abilities in sequential model editing lies in the condition number of the edited matrix. The condition number of a matrix represents its numerical sensitivity, and therefore can be used to indicate the extent to which the original knowledge associations stored in LLMs are perturbed after editing. Subsequently, statistical findings demonstrate that the value of this factor becomes larger as the number of edits increases, thereby exacerbating the deterioration of general abilities. To this end, a framework termed Perturbation Restraint on Upper bouNd for Editing (PRUNE) is proposed, which applies the condition number restraints in sequential editing. These restraints can lower the upper bound on perturbation to edited models, thus preserving the general abilities. Systematically, we conduct experiments employing three editing methods on three LLMs across four downstream tasks. The results show that PRUNE can preserve general abilities while maintaining the editing performance effectively in sequential model editing. The code are available at https://github.com/mjy1111/PRUNE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL