ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs

要約

大規模言語モデル (LLM) の使用には安全性が非常に重要です。
LLM の安全性を強化するために、データ フィルタリングや監視付き微調整などの複数の技術が開発されています。
しかし、現在知られている技術は、LLM の安全性調整に使用されるコーパスがセマンティクスによってのみ解釈されることを前提としています。
ただし、この仮定は現実のアプリケーションでは当てはまらないため、LLM に深刻な脆弱性が生じます。
たとえば、フォーラムのユーザーは、画像情報を伝えるためにテキストベースのアートの一種である ASCII アートをよく使用します。
この論文では、新しい ASCII アート ベースのジェイルブレイク攻撃を提案し、セマンティクスだけでは解釈できないプロンプトを認識する LLM の能力を評価するための包括的なベンチマーク Vision-in-Text Challenge (ViTC) を紹介します。
5 つの SOTA LLM (GPT-3.5、GPT-4、Gemini、Claude、および Llama2) が、ASCII アートの形式で提供されたプロンプトを認識するのに苦労していることを示します。
この観察に基づいて、私たちは脱獄攻撃 ArtPrompt を開発しました。これは、ASCII アートを認識する際の LLM のパフォーマンスの低さを利用して、安全対策を回避し、LLM から望ましくない動作を引き出します。
ArtPrompt は被害者の LLM へのブラックボックス アクセスのみを必要とするため、実質的な攻撃となります。
5 つの SOTA LLM で ArtPrompt を評価し、ArtPrompt が 5 つの LLM すべてから望ましくない動作を効果的かつ効率的に誘発できることを示します。

要約(オリジナル)

Safety is critical to the usage of large language models (LLMs). Multiple techniques such as data filtering and supervised fine-tuning have been developed to strengthen LLM safety. However, currently known techniques presume that corpora used for safety alignment of LLMs are solely interpreted by semantics. This assumption, however, does not hold in real-world applications, which leads to severe vulnerabilities in LLMs. For example, users of forums often use ASCII art, a form of text-based art, to convey image information. In this paper, we propose a novel ASCII art-based jailbreak attack and introduce a comprehensive benchmark Vision-in-Text Challenge (ViTC) to evaluate the capabilities of LLMs in recognizing prompts that cannot be solely interpreted by semantics. We show that five SOTA LLMs (GPT-3.5, GPT-4, Gemini, Claude, and Llama2) struggle to recognize prompts provided in the form of ASCII art. Based on this observation, we develop the jailbreak attack ArtPrompt, which leverages the poor performance of LLMs in recognizing ASCII art to bypass safety measures and elicit undesired behaviors from LLMs. ArtPrompt only requires black-box access to the victim LLMs, making it a practical attack. We evaluate ArtPrompt on five SOTA LLMs, and show that ArtPrompt can effectively and efficiently induce undesired behaviors from all five LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google