Towards Universal and Black-Box Query-Response Only Attack on LLMs with QROA

要約

大規模な言語モデル（LLMS）の迅速な採用は、重要なセキュリティと倫理的脆弱性、特に敵対的操作に対する感受性を明らかにしています。
このペーパーでは、悪意のある指示に追加されたときにLLMアライメントセーフガードをバイパスできる敵対的な接尾辞を特定するために設計された新しいブラックボックスジェイルブレイク方法であるQROAを紹介します。
既存のサフィックスベースの脱獄アプローチとは異なり、QROAはモデルのロジットまたはその他の内部情報へのアクセスを必要としません。
また、LLMSの標準クエリ応答インターフェイスのみを介して動作する人間が作成したテンプレートへの依存を排除​​します。
QROAは、最適化の盗賊問題として攻撃をフレーミングすることにより、サロゲートモデルとトークンレベルの最適化を採用して、接尾辞のバリエーションを効率的に調査します。
さらに、個々のモデルの普遍的な敵対的な接尾辞を識別する拡張機能であるQROA-UNVを提案し、幅広い指示にわたって1つのクエリの脱獄を可能にします。
複数のモデルでのテストは、80 \％を超える攻撃成功率（ASR）を示しています。
これらの調査結果は、重要な脆弱性を強調し、高度な防御の必要性を強調し、安全なAI展開のためのより堅牢な安全評価の開発に貢献します。
コードは、次のリンクで公開されています：https：//github.com/qroa/qroa

要約(オリジナル)

The rapid adoption of Large Language Models (LLMs) has exposed critical security and ethical vulnerabilities, particularly their susceptibility to adversarial manipulations. This paper introduces QROA, a novel black-box jailbreak method designed to identify adversarial suffixes that can bypass LLM alignment safeguards when appended to a malicious instruction. Unlike existing suffix-based jailbreak approaches, QROA does not require access to the model’s logit or any other internal information. It also eliminates reliance on human-crafted templates, operating solely through the standard query-response interface of LLMs. By framing the attack as an optimization bandit problem, QROA employs a surrogate model and token level optimization to efficiently explore suffix variations. Furthermore, we propose QROA-UNV, an extension that identifies universal adversarial suffixes for individual models, enabling one-query jailbreaks across a wide range of instructions. Testing on multiple models demonstrates Attack Success Rate (ASR) greater than 80\%. These findings highlight critical vulnerabilities, emphasize the need for advanced defenses, and contribute to the development of more robust safety evaluations for secure AI deployment. The code is made public on the following link: https://github.com/qroa/QROA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google