Optimization-based Prompt Injection Attack to LLM-as-a-Judge

要約

LLM-as-a-Judge は、大規模言語モデル (LLM) を使用してテキスト情報を評価できる新しいソリューションです。
既存の調査研究に基づいて、LLM は従来の人的評価に代わる魅力的な代替手段を提供するという点で顕著なパフォーマンスを示しています。
ただし、プロンプト インジェクション攻撃に対するこれらのシステムの堅牢性は未解決の問題のままです。
この作業では、LLM-as-a-Judge に合わせた新しい最適化ベースのプロンプト インジェクション攻撃である JudgeDeceiver を紹介します。
私たちの手法は、LLM-as-a-Judge の意思決定プロセスを攻撃するための正確な最適化目標を定式化し、最適化アルゴリズムを利用して敵対的シーケンスの生成を効率的に自動化し、モデル評価の的を絞った効果的な操作を実現します。
手作りのプロンプト インジェクション攻撃と比較して、私たちの手法は優れた有効性を示しており、LLM ベースの判定システムの現在のセキュリティ パラダイムに重大な課題をもたらしています。
広範な実験を通じて、さまざまなケースにわたって決定結果を変更する JudgeDeceiver の機能を紹介し、最適化ベースのプロンプト インジェクション攻撃に対する LLM-as-a-Judge システムの脆弱性を強調します。

要約(オリジナル)

LLM-as-a-Judge is a novel solution that can assess textual information with large language models (LLMs). Based on existing research studies, LLMs demonstrate remarkable performance in providing a compelling alternative to traditional human assessment. However, the robustness of these systems against prompt injection attacks remains an open question. In this work, we introduce JudgeDeceiver, a novel optimization-based prompt injection attack tailored to LLM-as-a-Judge. Our method formulates a precise optimization objective for attacking the decision-making process of LLM-as-a-Judge and utilizes an optimization algorithm to efficiently automate the generation of adversarial sequences, achieving targeted and effective manipulation of model evaluations. Compared to handcraft prompt injection attacks, our method demonstrates superior efficacy, posing a significant challenge to the current security paradigms of LLM-based judgment systems. Through extensive experiments, we showcase the capability of JudgeDeceiver in altering decision outcomes across various cases, highlighting the vulnerability of LLM-as-a-Judge systems to the optimization-based prompt injection attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google