Figure it Out: Analyzing-based Jailbreak Attack on Large Language Models

要約

大規模言語モデル (LLM) の急速な発展により、さまざまなタスクにわたって驚くべき生成機能がもたらされました。
ただし、目覚ましい成果にもかかわらず、これらのモデルには依然として多数のセキュリティ上の脆弱性があり、特にジェイルブレイク攻撃に直面した場合に顕著です。
したがって、ジェイルブレイク攻撃を調査することで、LLM の隠れた弱点を明らかにし、セキュリティを強化するためのより堅牢な防御メカニズムの開発に役立てることができます。
この論文では、LLM に対するジェイルブレイク攻撃の境界をさらに調査し、分析ベースのジェイルブレイク (ABJ) を提案します。
この効果的なジェイルブレイク攻撃方法は、LLM の成長する分析および推論能力を利用し、分析ベースのタスクに直面したときに根本的な脆弱性を明らかにします。
さまざまなオープンソースおよびクローズドソース LLM にわたって ABJ の詳細な評価を実施し、GPT-4-turbo-0409 で 94.8% の攻撃成功率 (ASR) と 1.06 の攻撃効率 (AE) を達成し、最新の状態を実証しています。
-芸術攻撃の効果と効率。
私たちの研究は、悪用のリスクを軽減するために LLM の安全性を優先し強化することの重要性を強調しています。コードは https://github.com/theshi-1128/ABJ- Attack で公開されています。

要約(オリジナル)

The rapid development of Large Language Models (LLMs) has brought remarkable generative capabilities across diverse tasks. However, despite the impressive achievements, these models still have numerous security vulnerabilities, particularly when faced with jailbreak attacks. Therefore, by investigating jailbreak attacks, we can uncover hidden weaknesses in LLMs and guide us in developing more robust defense mechanisms to fortify their security. In this paper, we further explore the boundary of jailbreak attacks on LLMs and propose Analyzing-based Jailbreak (ABJ). This effective jailbreak attack method takes advantage of LLMs’ growing analyzing and reasoning capability and reveals their underlying vulnerabilities when facing analysis-based tasks. We conduct a detailed evaluation of ABJ across various open-source and closed-source LLMs, which achieves 94.8% Attack Success Rate (ASR) and 1.06 Attack Efficiency (AE) on GPT-4-turbo-0409, demonstrating state-of-the-art attack effectiveness and efficiency. Our research highlights the importance of prioritizing and enhancing the safety of LLMs to mitigate the risks of misuse.The code is publicly available at https://github.com/theshi-1128/ABJ-Attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google