Jailbreaking GPT-4V via Self-Adversarial Attacks with System Prompts

要約

脱獄マルチモーダル大規模言語モデル (MLLM) に関する既存の研究では、主にモデル入力内の敵対的な例に焦点を当てており、モデル API の脆弱性にはあまり注目していません。
研究のギャップを埋めるために、私たちは次の作業を実行します。 1) GPT-4V にシステム プロンプト リークの脆弱性を発見します。
慎重に設計されたダイアログを通じて、GPT-4V の内部システム プロンプトを盗むことに成功しました。
この発見は、MLLM における潜在的な悪用可能なセキュリティ リスクを示しています。
2)取得したシステムプロンプトに基づいて、SASP (Self-Adversarial Attack via System Prompt) と呼ばれる新しい MLLM 脱獄攻撃手法を提案します。
GPT-4 をそれ自体に対するレッド チーム ツールとして採用することで、盗まれたシステム プロンプトを利用して潜在的なジェイルブレイク プロンプトを検索することを目指しています。
さらに、より良いパフォーマンスを追求するために、GPT-4 の分析に基づいた人為的な修正も加え、攻撃の成功率を 98.7% にさらに向上させました。
3) 脱獄攻撃を防御するためにシステム プロンプトを変更する効果を評価しました。
結果は、適切に設計されたシステム プロンプトが脱獄の成功率を大幅に低下させる可能性があることを示しています。
全体として、私たちの研究は、MLLM セキュリティの強化に関する新たな洞察を提供し、脱獄におけるシステム プロンプトの重要な役割を実証しています。これを利用すれば、脱獄の成功率を大幅に高めると同時に、脱獄に対する防御の可能性も秘めています。

要約(オリジナル)

Existing work on jailbreak Multimodal Large Language Models (MLLMs) has focused primarily on adversarial examples in model inputs, with less attention to vulnerabilities in model APIs. To fill the research gap, we carry out the following work: 1) We discover a system prompt leakage vulnerability in GPT-4V. Through carefully designed dialogue, we successfully steal the internal system prompts of GPT-4V. This finding indicates potential exploitable security risks in MLLMs; 2)Based on the acquired system prompts, we propose a novel MLLM jailbreaking attack method termed SASP (Self-Adversarial Attack via System Prompt). By employing GPT-4 as a red teaming tool against itself, we aim to search for potential jailbreak prompts leveraging stolen system prompts. Furthermore, in pursuit of better performance, we also add human modification based on GPT-4’s analysis, which further improves the attack success rate to 98.7\%; 3) We evaluated the effect of modifying system prompts to defend against jailbreaking attacks. Results show that appropriately designed system prompts can significantly reduce jailbreak success rates. Overall, our work provides new insights into enhancing MLLM security, demonstrating the important role of system prompts in jailbreaking, which could be leveraged to greatly facilitate jailbreak success rates while also holding the potential for defending against jailbreaks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google