Can Editing LLMs Inject Harm?

要約

一から再トレーニングするのはコストがかかるため、大規模言語モデル (LLM) 内の誤った知識や古い知識を効率的に修正するために、知識編集手法が採用されることが増えています。
一方、重要だが十分に検討されていない問題の 1 つは、知識編集を使用して LLM に害を及ぼすことができるかということです。
本稿では、知識編集をLLMに対する新しいタイプの安全脅威、すなわち編集攻撃として再定式化し、新たに構築したデータセットEdit Attackを使用して体系的な調査を実施することを提案します。
具体的には、誤った情報の注入とバイアスの注入を含む、編集攻撃の 2 つの典型的な安全リスクに焦点を当てます。
誤情報注入のリスクについては、まず常識的な誤情報注入とロングテール誤情報注入に分類します。
そして、編集攻撃は両方のタイプの誤った情報を LLM に注入することができ、特に常識的な誤った情報の注入の有効性が高いことがわかりました。
バイアス注入のリスクについては、バイアスのある文を LLM に高い効果で注入できるだけでなく、1 回のバイアスのある文の注入によって、注入された文とはまったく無関係な LLM の一般的な出力に大きなバイアスの増加を引き起こす可能性があることがわかりました。
この文は、LLM の全体的な公平性に壊滅的な影響を与えることを示しています。
次に、LLM の一般知識と推論能力への影響によって測定される編集攻撃の高いステルス性をさらに説明し、経験的証拠を用いて編集攻撃を防御することの難しさを示します。
私たちの発見は、LLM の安全性の調整を損なう知識編集技術の新たな誤用リスクを示しています。

要約(オリジナル)

Knowledge editing techniques have been increasingly adopted to efficiently correct the false or outdated knowledge in Large Language Models (LLMs), due to the high cost of retraining from scratch. Meanwhile, one critical but under-explored question is: can knowledge editing be used to inject harm into LLMs? In this paper, we propose to reformulate knowledge editing as a new type of safety threat for LLMs, namely Editing Attack, and conduct a systematic investigation with a newly constructed dataset EditAttack. Specifically, we focus on two typical safety risks of Editing Attack including Misinformation Injection and Bias Injection. For the risk of misinformation injection, we first categorize it into commonsense misinformation injection and long-tail misinformation injection. Then, we find that editing attacks can inject both types of misinformation into LLMs, and the effectiveness is particularly high for commonsense misinformation injection. For the risk of bias injection, we discover that not only can biased sentences be injected into LLMs with high effectiveness, but also one single biased sentence injection can cause a high bias increase in general outputs of LLMs, which are even highly irrelevant to the injected sentence, indicating a catastrophic impact on the overall fairness of LLMs. Then, we further illustrate the high stealthiness of editing attacks, measured by their impact on the general knowledge and reasoning capacities of LLMs, and show the hardness of defending editing attacks with empirical evidence. Our discoveries demonstrate the emerging misuse risks of knowledge editing techniques on compromising the safety alignment of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google