Antidote: Post-fine-tuning Safety Alignment for Large Language Models against Harmful Fine-tuning

要約

LLMの安全性を確保するために調整された大規模言語モデル（Large Language Models: LLM）は、有害な微調整攻撃に対して脆弱である。既存の緩和戦略には、アライメント段階での解決策〚huang2024vaccine, rosati2024representation 〛と微調整段階での解決策〛huang2024lazy,mukhoti2023fine 〛がある。しかしながら、我々の評価では、両カテゴリの防御が失敗することを示している。すなわち、ファインチューニング段階における大きな学習率や多くの学習エポックは、防御を簡単に無効にしてしまうが、ファインチューニング性能を保証するためには必要である。このため、我々は、微調整段階での学習ハイパーパラメータに依存しない、微調整段階後の解決策であるAntidoteを提案する。Antidoteは、有害なパラメータを除去することで、それらの有害なパラメータが微調整段階でどのように形成されたかに関わらず、有害なモデルを有害な行動から回復させることができるという哲学に依存している。この哲学に基づき、有害な微調整の後に、有害なコンテンツの生成に関与する有害な重みを除去するためのワンショット・プルーニング段階を導入する。その恥ずべき単純さにもかかわらず、実証結果は、Antidoteが下流タスクの精度を維持しながら、有害なスコアを減少させることができることを示している。私たちのプロジェクト・ページは \url{https://huangtiansheng.github.io/Antidote_gh_page/} にある。

要約(オリジナル)

Safety aligned Large Language Models (LLMs) are vulnerable to harmful fine-tuning attacks \cite{qi2023fine}– a few harmful data mixed in the fine-tuning dataset can break the LLMs’s safety alignment. Existing mitigation strategies include alignment stage solutions \cite{huang2024vaccine, rosati2024representation} and fine-tuning stage solutions \cite{huang2024lazy,mukhoti2023fine}. However, our evaluation shows that both categories of defenses fail \textit{when some specific training hyper-parameters are chosen} — a large learning rate or a large number of training epochs in the fine-tuning stage can easily invalidate the defense, which however, is necessary to guarantee finetune performance. To this end, we propose Antidote, a post-fine-tuning stage solution, which remains \textbf{\textit{agnostic to the training hyper-parameters in the fine-tuning stage}}. Antidote relies on the philosophy that by removing the harmful parameters, the harmful model can be recovered from the harmful behaviors, regardless of how those harmful parameters are formed in the fine-tuning stage. With this philosophy, we introduce a one-shot pruning stage after harmful fine-tuning to remove the harmful weights that are responsible for the generation of harmful content. Despite its embarrassing simplicity, empirical results show that Antidote can reduce harmful score while maintaining accuracy on downstream tasks.Our project page is at \url{https://huangtiansheng.github.io/Antidote_gh_page/}

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL