Improved Generation of Adversarial Examples Against Safety-aligned LLMs

要約

勾配に基づく方法を用いて生成された敵対的なプロンプトは、安全が確保されたLLMに対して自動脱獄攻撃を行う際に優れた性能を示す。しかしながら、テキストの離散的な性質のため、LLMの入力勾配は、プロンプト内のトークンの置換によって生じる損失変化の大きさを正確に反映することが困難であり、ホワイトボックス設定においてさえ、セーフティ・アラインLLMに対する攻撃の成功率が制限されることになる。本論文では、この問題に対する新たな視点を模索し、元々ブラックボックス画像分類モデルを攻撃するために提案された転送ベースの攻撃に着想を得た技術革新を活用することで、この問題を軽減できることを提案する。本稿では、これらの伝達ベースの攻撃のうち、スキップ勾配法と中間レベル攻撃という有効な手法の思想を、勾配ベースの敵対的プロンプト生成に初めて適用し、明らかな計算コストを導入することなく、大幅な性能向上を達成した。また、その背後にあるメカニズムについて議論することで、新たな知見を得るとともに、これらの手法の適切な組み合わせを開発する。その結果、開発した組み合わせにより生成されたクエリ固有の敵対的接尾辞の87%が、AdvBenchにおいてLlama-2-7B-Chatにターゲット文字列と完全に一致する出力を生成させることができた。この一致率は、GCGとして知られる非常に強力なベースラインよりも33%高く、LLMに対する敵対的プロンプト生成のための高度な離散最適化を実証している。さらに、明らかなコストを導入することなく、この組み合わせは、AdvBench上でLlama-2-7B-Chatモデルを攻撃するためのクエリに特化したプロンプト(38% -> 68%)と普遍的な敵対的プロンプト(26.68% -> 60.32%)の両方を生成する際に、GCGと比較して攻撃成功率の絶対値で30%以上の増加を達成しました。コードはhttps://github.com/qizhangli/Gradient-based-Jailbreak-Attacks。

要約(オリジナル)

Adversarial prompts generated using gradient-based methods exhibit outstanding performance in performing automatic jailbreak attacks against safety-aligned LLMs. Nevertheless, due to the discrete nature of texts, the input gradient of LLMs struggles to precisely reflect the magnitude of loss change that results from token replacements in the prompt, leading to limited attack success rates against safety-aligned LLMs, even in the white-box setting. In this paper, we explore a new perspective on this problem, suggesting that it can be alleviated by leveraging innovations inspired in transfer-based attacks that were originally proposed for attacking black-box image classification models. For the first time, we appropriate the ideologies of effective methods among these transfer-based attacks, i.e., Skip Gradient Method and Intermediate Level Attack, into gradient-based adversarial prompt generation and achieve significant performance gains without introducing obvious computational cost. Meanwhile, by discussing mechanisms behind the gains, new insights are drawn, and proper combinations of these methods are also developed. Our empirical results show that 87% of the query-specific adversarial suffixes generated by the developed combination can induce Llama-2-7B-Chat to produce the output that exactly matches the target string on AdvBench. This match rate is 33% higher than that of a very strong baseline known as GCG, demonstrating advanced discrete optimization for adversarial prompt generation against LLMs. In addition, without introducing obvious cost, the combination achieves >30% absolute increase in attack success rates compared with GCG when generating both query-specific (38% -> 68%) and universal adversarial prompts (26.68% -> 60.32%) for attacking the Llama-2-7B-Chat model on AdvBench. Code at: https://github.com/qizhangli/Gradient-based-Jailbreak-Attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL