Boosting Jailbreak Attack with Momentum

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって目覚ましい成功を収めていますが、依然として敵対的な攻撃、特に十分に文書化されている \textit{jailbreak} 攻撃に対して脆弱です。
最近、貪欲座標勾配 (GCG) 攻撃が、勾配ヒューリスティックと貪欲検索の組み合わせを通じて敵対的なプロンプトを最適化することで、この脆弱性を悪用する有効性を実証しました。
ただし、この攻撃の効率性が攻撃プロセスのボトルネックになっています。
この制限を軽減するために、このホワイトペーパーでは、最適化プロセスを安定させ、以前の反復からのよりヒューリスティックな洞察を活用することを目的として、最適化レンズを通して敵対的プロンプトの生成を再考します。
具体的には、勾配ヒューリスティックに運動量項を組み込んだ \textbf{M}omentum \textbf{A}ccelerated G\textbf{C}G (\textbf{MAC}) 攻撃を導入します。
実験結果は、調整された言語モデルに対する勾配ベースの攻撃において MAP によって達成される顕著な機能強化を示しています。
私たちのコードは https://github.com/weizeming/momentum-attach-llm で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have achieved remarkable success across diverse tasks, yet they remain vulnerable to adversarial attacks, notably the well-documented \textit{jailbreak} attack. Recently, the Greedy Coordinate Gradient (GCG) attack has demonstrated efficacy in exploiting this vulnerability by optimizing adversarial prompts through a combination of gradient heuristics and greedy search. However, the efficiency of this attack has become a bottleneck in the attacking process. To mitigate this limitation, in this paper we rethink the generation of adversarial prompts through an optimization lens, aiming to stabilize the optimization process and harness more heuristic insights from previous iterations. Specifically, we introduce the \textbf{M}omentum \textbf{A}ccelerated G\textbf{C}G (\textbf{MAC}) attack, which incorporates a momentum term into the gradient heuristic. Experimental results showcase the notable enhancement achieved by MAP in gradient-based attacks on aligned language models. Our code is available at https://github.com/weizeming/momentum-attack-llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google