Model Editing Can Hurt General Abilities of Large Language Models

要約

大規模言語モデル (LLM) の最近の進歩により、パラメータに格納された知識にアクセスするための新しいパラダイムが開かれました。
浮上している重大な課題の 1 つは、誤った知識または古い知識による LLM 出力における幻覚の存在です。
更新された情報による LLM の再トレーニングはリソースを大量に消費するため、モデル編集への関心が高まっています。
ただし、多くのモデル編集方法は、さまざまなシナリオで効果的ではありますが、編集パフォーマンスの有効性、一般化、局所性などの側面を過度に強調する傾向があり、LLM の一般的な能力に対する潜在的な副作用が見落とされることがよくあります。
この論文では、モデルの事実性の向上はこれらの一般的な能力の大幅な低下を犠牲にする可能性があり、それはLLMの持続可能な発展に役立たないのではないかという懸念を提起します。
8 つの代表的なタスク カテゴリにわたる 2 つの LLM で 4 つの一般的な編集方法を評価することにより、副作用を体系的に分析します。
広範な実証研究により、モデル編集によりモデルの事実性は向上しますが、その代償として一般的な能力が大幅に損なわれることが明らかになりました。
したがって、LLM の事前トレーニング中に獲得した一般的な能力の損失を最小限に抑え、最終的にモデル編集中にそれらの能力を維持するために、さらなる研究努力を提唱します。

要約(オリジナル)

Recent advances in large language models (LLMs) have opened up new paradigms for accessing the knowledge stored in their parameters. One critical challenge that has emerged is the presence of hallucinations in LLM outputs due to false or outdated knowledge. Since retraining LLMs with updated information is resource-intensive, there has been a growing interest in model editing. However, many model editing methods, while effective in various scenarios, tend to overemphasize aspects such as efficacy, generalization, and locality in editing performance, often overlooking potential side effects on the general abilities of LLMs. In this paper, we raise concerns that the improvement of model factuality may come at the cost of a significant degradation of these general abilities, which is not conducive to the sustainable development of LLMs. Systematically, we analyze side effects by evaluating four popular editing methods on two LLMs across eight representative task categories. Extensive empirical research reveals that model editing does improve model factuality but at the expense of substantially impairing general abilities. Therefore, we advocate for more research efforts to minimize the loss of general abilities acquired during LLM pre-training and to ultimately preserve them during model editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google