Does Refusal Training in LLMs Generalize to the Past Tense?

要約

拒否トレーニングは、LLM が有害、望ましくない、または違法な出力を生成するのを防ぐために広く使用されています。
現在の拒否訓練アプローチにおける興味深い一般化ギャップを明らかにします。有害な要求を過去形で再定式化するだけで (例: 「火炎瓶の作り方は?」から「人々はどうやって火炎瓶を作ったのですか?」に) 多くの場合、十分な効果が得られます。
多くの最先端の LLM をジェイルブレイクします。
GPT-3.5 Turbo を
再定式化モデル。
たとえば、GPT-4o に対するこの単純な攻撃の成功率は、直接リクエストを使用した場合の 1% から、GPT-4 を脱獄ジャッジとして JailbreakBench からの有害なリクエストに対して過去時制の再構築を 20 回試行した場合の 88% まで増加します。
興味深いことに、未来時制での再定式化はあまり効果的ではないこともわかり、拒否のガードレールは、仮説的な未来の質問よりも過去の歴史的な質問の方が無害であると考える傾向があることを示唆しています。
さらに、GPT-3.5 Turbo の微調整に関する実験では、過去時制の例が微調整データに明示的に含まれている場合、過去の再定式化に対する防御が実現可能であることを示しています。
全体として、私たちの調査結果は、研究されたモデルを調整するために使用される、SFT、RLHF、敵対的トレーニングなどの広く使用されている調整手法が脆弱である可能性があり、必ずしも意図したとおりに一般化するとは限らないことを強調しています。
コードと脱獄アーティファクトは https://github.com/tml-epfl/llm-past-tense で提供しています。

要約(オリジナル)

Refusal training is widely used to prevent LLMs from generating harmful, undesirable, or illegal outputs. We reveal a curious generalization gap in the current refusal training approaches: simply reformulating a harmful request in the past tense (e.g., ‘How to make a Molotov cocktail?’ to ‘How did people make a Molotov cocktail?’) is often sufficient to jailbreak many state-of-the-art LLMs. We systematically evaluate this method on Llama-3 8B, Claude-3.5 Sonnet, GPT-3.5 Turbo, Gemma-2 9B, Phi-3-Mini, GPT-4o mini, GPT-4o, and R2D2 models using GPT-3.5 Turbo as a reformulation model. For example, the success rate of this simple attack on GPT-4o increases from 1% using direct requests to 88% using 20 past tense reformulation attempts on harmful requests from JailbreakBench with GPT-4 as a jailbreak judge. Interestingly, we also find that reformulations in the future tense are less effective, suggesting that refusal guardrails tend to consider past historical questions more benign than hypothetical future questions. Moreover, our experiments on fine-tuning GPT-3.5 Turbo show that defending against past reformulations is feasible when past tense examples are explicitly included in the fine-tuning data. Overall, our findings highlight that the widely used alignment techniques — such as SFT, RLHF, and adversarial training — employed to align the studied models can be brittle and do not always generalize as intended. We provide code and jailbreak artifacts at https://github.com/tml-epfl/llm-past-tense.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google