Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging

要約

下流タスク用に大規模言語モデル (LLM) を微調整することは広く採用されているアプローチですが、多くの場合、安全性を重視した LLM の安全性の低下につながります。
現在、多くのソリューションは追加の安全性データを組み込むことでこの問題に対処していますが、多くの場合、それは非現実的です。
この論文では、追加の安全データに依存せずに、LLM の安全性を維持しながら下流のタスクのパフォーマンスを向上させるにはどうすればよいかという質問に取り組みます。
我々は、LLM の本質的な安全性を維持しながら下流のタスクのパフォーマンスを向上させる、シンプルで効果的な方法、つまり、微調整された安全調整済みモデルの重み付けと調整後の安全性調整済みモデルの重みを結合する方法を提案します。
さまざまな下流タスク、モデル、結合方法にわたる実験結果は、このアプローチが下流タスクのパフォーマンスを向上させながら安全性の低下を効果的に軽減し、安全性を考慮した LLM を適応させるための実用的なソリューションを提供することを示しています。

要約(オリジナル)

Fine-tuning large language models (LLMs) for downstream tasks is a widely adopted approach, but it often leads to safety degradation in safety-aligned LLMs. Currently, many solutions address this issue by incorporating additional safety data, which can be impractical in many cases. In this paper, we address the question: How can we improve downstream task performance while preserving safety in LLMs without relying on additional safety data? We propose a simple and effective method that maintains the inherent safety of LLMs while enhancing their downstream task performance: merging the weights of pre- and post-fine-tuned safety-aligned models. Experimental results across various downstream tasks, models, and merging methods demonstrate that this approach effectively mitigates safety degradation while improving downstream task performance, offering a practical solution for adapting safety-aligned LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google