PAPILLON: Efficient and Stealthy Fuzz Testing-Powered Jailbreaks for LLMs

要約

大規模言語モデル（LLM）は、様々なタスクにおいて優れているが、攻撃者が有害または攻撃的なコンテンツを生成するようにモデルを惑わすために脱獄プロンプトを作成する脱獄攻撃に対してまだ脆弱である。現在の脱獄方法は、スケーラビリティと適応性に課題をもたらす手作業で作られたテンプレートに大きく依存するか、意味的に首尾一貫したプロンプトを生成するのに苦労し、簡単に検出できるようにしている。さらに、ほとんどの既存のアプローチは、長いプロンプトを含み、より高いクエリコストにつながる。この論文では、これらの課題を改善するために、PAPILLONと呼ばれる新しい脱獄攻撃フレームワークを紹介します。PAPILLONは、一連のカスタマイズされた設計でブラックボックスファズテストアプローチを適応させる自動化されたブラックボックス脱獄攻撃フレームワークです。PAPILLONは、手動で作成されたテンプレートに依存する代わりに、空のシードプールから開始し、関連する脱獄テンプレートを検索する必要性を排除します。また、LLMヘルパーを使用して3つの新しい質問依存変異戦略を開発し、長さを大幅に削減しながら意味の一貫性を維持するプロンプトを生成します。さらに、2レベルの判定モジュールを実装し、成功した本物の脱獄を正確に検出します。我々は7つの代表的なLLMでPAPILLONを評価し、5つの最先端の脱獄攻撃戦略と比較した。GPT-3.5ターボ、GPT-4、Gemini-Proなどの独自のLLM APIに対して、PAPILLONはそれぞれ90%以上、80%以上、74%以上の攻撃成功率を達成し、既存のベースラインを60%以上上回りました。さらに、PAPILLONは脱獄プロンプトの長さを大幅に削減しながら、高い意味的一貫性を維持することができます。GPT-4をターゲットにした場合、PAPILLONは100トークンであっても78%以上の攻撃成功率を達成できます。さらに、PAPILLONは移植性を示し、最先端の防御に対して堅牢です。コード: https://github.com/aaFrostnova/Papillon

要約(オリジナル)

Large Language Models (LLMs) have excelled in various tasks but are still vulnerable to jailbreaking attacks, where attackers create jailbreak prompts to mislead the model to produce harmful or offensive content. Current jailbreak methods either rely heavily on manually crafted templates, which pose challenges in scalability and adaptability, or struggle to generate semantically coherent prompts, making them easy to detect. Additionally, most existing approaches involve lengthy prompts, leading to higher query costs. In this paper, to remedy these challenges, we introduce a novel jailbreaking attack framework called PAPILLON, which is an automated, black-box jailbreaking attack framework that adapts the black-box fuzz testing approach with a series of customized designs. Instead of relying on manually crafted templates,PAPILLON starts with an empty seed pool, removing the need to search for any related jailbreaking templates. We also develop three novel question-dependent mutation strategies using an LLM helper to generate prompts that maintain semantic coherence while significantly reducing their length. Additionally, we implement a two-level judge module to accurately detect genuine successful jailbreaks. We evaluated PAPILLON on 7 representative LLMs and compared it with 5 state-of-the-art jailbreaking attack strategies. For proprietary LLM APIs, such as GPT-3.5 turbo, GPT-4, and Gemini-Pro, PAPILLONs achieves attack success rates of over 90%, 80%, and 74%, respectively, exceeding existing baselines by more than 60\%. Additionally, PAPILLON can maintain high semantic coherence while significantly reducing the length of jailbreak prompts. When targeting GPT-4, PAPILLON can achieve over 78% attack success rate even with 100 tokens. Moreover, PAPILLON demonstrates transferability and is robust to state-of-the-art defenses. Code: https://github.com/aaFrostnova/Papillon

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL