Booster: Tackling Harmful Fine-tuning for Large Language Models via Attenuating Harmful Perturbation

要約

有害な微調整攻撃は、大規模な言語モデルのサービスとしての微調整に深刻な安全上の懸念をもたらします。
問題を軽減するために既存の防御が提案されていますが、彼らのパフォーマンスはまだ満足のいくものから遠く離れており、問題の根本原因は完全には回復されていません。
この目的のために、このペーパーでは、モデルの重みに対する有害な摂動が、調整が切れる可能性のある原因である可能性があることを示しています。
有害な摂動の悪影響を減らすために、ブースターと呼ばれるアライメントステージソリューションを提案します。
技術的には、元のアライメント損失に加えて、アライメント段階の最適化に損失の正規者を追加します。
正規者は、シミュレートされた有害摂動が減衰した後のモデルの有害な損失の削減を保証し、それによってその後の微調整リスクを軽減します。
経験的結果は、ブースターが下流タスクのパフォーマンスを維持しながら、微調整されたモデルの有害なスコアを効果的に減らすことができることを示しています。
私たちのコードは、https：//github.com/git-disl/boosterで入手できます。

要約(オリジナル)

Harmful fine-tuning attack poses serious safety concerns for large language models’ fine-tuning-as-a-service. While existing defenses have been proposed to mitigate the issue, their performances are still far away from satisfactory, and the root cause of the problem has not been fully recovered. To this end, we in this paper show that harmful perturbation over the model weights could be a probable cause of alignment-broken. In order to attenuate the negative impact of harmful perturbation, we propose an alignment-stage solution, dubbed Booster. Technically, along with the original alignment loss, we append a loss regularizer in the alignment stage’s optimization. The regularizer ensures that the model’s harmful loss reduction after the simulated harmful perturbation is attenuated, thereby mitigating the subsequent fine-tuning risk. Empirical results show that Booster can effectively reduce the harmful score of the fine-tuned models while maintaining the performance of downstream tasks. Our code is available at https://github.com/git-disl/Booster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google