Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods

要約

大規模言語モデルの学習解除は、LLM が学習した有害な情報を削除して、悪意のある目的での使用を防ぐことを目的としています。
LLMU と RMU は、LLM の学習解除の 2 つの方法として提案されており、学習解除のベンチマークで優れた結果を達成しています。
私たちは、WMDP ベンチマークおよび私たちが作成する生物学ベンチマークの一般的なモデル機能に対するそれらの影響を評価することにより、これらの手法の有効性を詳細に研究します。
私たちの実験では、RMU が一般に、同様またはより優れた非学習のために、モデルの機能をより適切に保存することにつながることが示されています。
これらの方法の堅牢性をさらにテストしたところ、簡単な方法で 5 ショットのプロンプトまたは質問の言い換えを行うと、非学習ベンチマークの精度が 10 倍以上向上する可能性があることがわかりました。
最後に、無関係なデータでトレーニングすると、非学習前のパフォーマンスをほぼ完全に回復できることを示し、これらの方法が真の非学習には失敗することを示しています。
コードは https://github.com/JaiDoshi/Knowledge-Erasure から入手できます。

要約(オリジナル)

Large language model unlearning aims to remove harmful information that LLMs have learnt to prevent their use for malicious purposes. LLMU and RMU have been proposed as two methods for LLM unlearning, achieving impressive results on unlearning benchmarks. We study in detail the efficacy of these methods by evaluating their impact on general model capabilities on the WMDP benchmark as well as a biology benchmark we create. Our experiments show that RMU generally leads to better preservation of model capabilities, for similar or better unlearning. We further test the robustness of these methods and find that doing 5-shot prompting or rephrasing the question in simple ways can lead to an over ten-fold increase in accuracy on unlearning benchmarks. Finally, we show that training on unrelated data can almost completely recover pre-unlearning performance, demonstrating that these methods fail at truly unlearning. The code is available at: https://github.com/JaiDoshi/Knowledge-Erasure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google