Representation noising can prevent harmful fine-tuning on LLMs

要約

オープンソースの大規模言語モデル (LLM) をリリースすると、悪意のある者がこれらのモデルを有害な目的に簡単に微調整できるため、二重用途のリスクが生じます。
重みをオープンにリリースしなくても、重みの盗用と微調整 API により、クローズド モデルは有害な微調整攻撃 (HFA) に対して脆弱になります。
脱獄の防止や安全ガードレールの改善などの安全対策は重要ですが、そのような対策は微調整することで簡単に元に戻すことができます。
この研究では、攻撃者が重みにアクセスできる場合でも効果的な防御メカニズムである Representation Noising (RepNoise) を提案します。
RepNoise は、微調整中に回復することが困難な有害な表現に関する情報を削除することで機能します。
重要なのは、私たちの防御は、攻撃セットの同じ分布から引き出されている限り、防御プロセスでは見られなかった危害のさまざまなサブセットにわたって一般化することもできます。
私たちの方法は、LLM の一般的な機能を低下させず、無害なタスクでモデルをトレーニングする機能を保持します。
私たちは、防御の有効性がその「深さ」、つまり有害な表現に関する情報が LLM のすべての層にわたって除去される程度にあるという経験的証拠を提供します。

要約(オリジナル)

Releasing open-source large language models (LLMs) presents a dual-use risk since bad actors can easily fine-tune these models for harmful purposes. Even without the open release of weights, weight stealing and fine-tuning APIs make closed models vulnerable to harmful fine-tuning attacks (HFAs). While safety measures like preventing jailbreaks and improving safety guardrails are important, such measures can easily be reversed through fine-tuning. In this work, we propose Representation Noising (RepNoise), a defence mechanism that is effective even when attackers have access to the weights. RepNoise works by removing information about harmful representations such that it is difficult to recover them during fine-tuning. Importantly, our defence is also able to generalize across different subsets of harm that have not been seen during the defence process as long as they are drawn from the same distribution of the attack set. Our method does not degrade the general capability of LLMs and retains the ability to train the model on harmless tasks. We provide empirical evidence that the effectiveness of our defence lies in its ‘depth’: the degree to which information about harmful representations is removed across all layers of the LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google