QROA: A Black-Box Query-Response Optimization Attack on LLMs

要約

Large Language Model (LLM) はここ数カ月で人気が急上昇しましたが、操作されると有害なコンテンツを生成する懸念のある機能を備えています。
この研究では、ブラックボックスのクエリのみの対話を通じて LLM を悪用するように設計された最適化ベースの戦略であるクエリ応答最適化攻撃 (QROA) を紹介します。
QROA は、悪意のある命令に最適化されたトリガーを追加して、LLM に有害なコンテンツの生成を強制します。
以前のアプローチとは異なり、QROA はモデルのロジット情報やその他の内部データにアクセスする必要がなく、LLM の標準のクエリ応答インターフェイスを通じてのみ動作します。
このメソッドは、ディープ Q ラーニングと貪欲座標降下法にヒントを得て、設計された報酬関数を最大化するためにトークンを反復的に更新します。
Vicuna、Falcon、Mistral などのさまざまな LLM でメソッドをテストし、80% を超える攻撃成功率 (ASR) を達成しました。
また、脱獄攻撃に抵抗するように設計された Llama2 の微調整バージョンである Llama2-chat に対してモデルをテストし、次善の初期トリガー シードで良好な ASR を達成しました。
この研究は、ブラックボックス最適化手法を使用して、パブリック ドメインに展開された LLM に対してジェイルブレイク攻撃を生成する実現可能性を実証し、LLM のより包括的な安全性テストを可能にします。

要約(オリジナル)

Large Language Models (LLMs) have surged in popularity in recent months, yet they possess concerning capabilities for generating harmful content when manipulated. This study introduces the Query-Response Optimization Attack (QROA), an optimization-based strategy designed to exploit LLMs through a black-box, query-only interaction. QROA adds an optimized trigger to a malicious instruction to compel the LLM to generate harmful content. Unlike previous approaches, QROA does not require access to the model’s logit information or any other internal data and operates solely through the standard query-response interface of LLMs. Inspired by deep Q-learning and Greedy coordinate descent, the method iteratively updates tokens to maximize a designed reward function. We tested our method on various LLMs such as Vicuna, Falcon, and Mistral, achieving an Attack Success Rate (ASR) over 80\%. We also tested the model against Llama2-chat, the fine-tuned version of Llama2 designed to resist Jailbreak attacks, achieving good ASR with a suboptimal initial trigger seed. This study demonstrates the feasibility of generating jailbreak attacks against deployed LLMs in the public domain using black-box optimization methods, enabling more comprehensive safety testing of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google