Effective Skill Unlearning through Intervention and Abstention

要約

大規模な言語モデル（LLM）は、さまざまなドメインで顕著なスキルを示しています。
能力の背後にあるメカニズムを理解し、それらに対するコントロールを実装することは、より良いモデルを開発するためにますます重要になっています。
このホワイトペーパーでは、LLMSでのスキルを解除することに焦点を当てており、全体的な能力を維持しながら特定のスキルを具体的に解き放ちます。
LLMS向けに、2つの軽量のトレーニングのないマシンスキルの解除技術を紹介します。
まず、各フィードフォワード層（FFL）のニューロンの活性化前分布は、モデルが異なるスキルを実証すると異​​なることがわかります。
さらに、FFLキー空間内で同じスキルクラスターをトリガーし、ハイパーキューブを使用して他のクエリから分離できるクエリが見つかります。
これらの観察に基づいて、\ textit {介入}と\ textit {abstention}を介して2つの軽量でトレーニングフリーのスキルの解除方法を提案します。
7つの異なる言語で数学解決、Pythonコーディング、および理解スキルの学習に関する方法を評価します。
結果は、指定されたスキルの強力な学習能力を示しています。
具体的には、\ texttt {キースペース検出}は、忘れられないスキルで80を超える相対パフォーマンスの低下を達成し、他のスキルで10 \％未満の相対パフォーマンス低下と、ほとんどの学習タスクでモデルの一般知識（MMLU）を達成します。
私たちのコードは、https：//github.com/trustworthy-ml-lab/efctive_skill_unlearningで入手できます

要約(オリジナル)

Large language Models (LLMs) have demonstrated remarkable skills across various domains. Understanding the mechanisms behind their abilities and implementing controls over them is becoming increasingly important for developing better models. In this paper, we focus on skill unlearning in LLMs, specifically unlearning a particular skill while retaining their overall capabilities. We introduce two lightweight, training-free machine skill unlearning techniques for LLMs. First, we observe that the pre-activation distribution of neurons in each Feed-Forward Layer (FFL) differs when the model demonstrates different skills. Additionally, we find that queries triggering the same skill cluster within the FFL key space and can be separated from other queries using a hypercube. Based on these observations, we propose two lightweight, training-free skill unlearning methods via \textit{intervention} and \textit{abstention} respectively: \texttt{Neuron Adjust} and \texttt{Key Space Detection}. We evaluate our methods on unlearning math-solving, Python-coding, and comprehension skills across seven different languages. The results demonstrate their strong unlearning capabilities for the designated skills. Specifically, \texttt{Key Space Detection} achieves over 80\% relative performance drop on the forgetting skill and less than 10\% relative performance drop on other skills and the model’s general knowledge (MMLU) for most unlearning tasks. Our code is available at https://github.com/Trustworthy-ML-Lab/effective_skill_unlearning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google