JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models

要約

ジェイルブレイク攻撃により、大規模言語モデル (LLM) が有害なコンテンツ、非倫理的なコンテンツ、またはその他の好ましくないコンテンツを生成します。
これらの攻撃を評価するには、現在の一連のベンチマークや評価手法では適切に対処できない多くの課題が生じます。
まず、ジェイルブレイクの評価に関して明確な実践基準がありません。
第二に、既存の研究では、比類のない方法でコストと成功率が計算されます。
そして第三に、多くの作品は、敵対的なプロンプトを差し控えたり、クローズドソースコードを使用したり、進化する独自の API に依存したりするため、再現できません。
これらの課題に対処するために、次のコンポーネントを備えたオープンソースのベンチマークである JailbreakBench を導入します。(1) 最先端の敵対的プロンプトの進化するリポジトリ。これをジェイルブレイク アーティファクトと呼びます。
(2) オリジナルおよび以前の研究 (Zou et al., 2023; Mazeika et al., 2023, 2024) からのソースの両方で、OpenAI の使用ポリシーに準拠した 100 の動作で構成される脱獄データセット。
(3) https://github.com/JailbreakBench/jailbreakbench にある標準化された評価フレームワーク。明確に定義された脅威モデル、システム プロンプト、チャット テンプレート、スコアリング機能が含まれます。
(4) https://jailbreakbench.github.io/ のリーダーボード。さまざまな LLM の攻撃と防御のパフォーマンスを追跡します。
私たちはこのベンチマークをリリースすることによる潜在的な倫理的影響を慎重に検討しており、それがコミュニティにとって正味プラスになると信じています。

要約(オリジナル)

Jailbreak attacks cause large language models (LLMs) to generate harmful, unethical, or otherwise objectionable content. Evaluating these attacks presents a number of challenges, which the current collection of benchmarks and evaluation techniques do not adequately address. First, there is no clear standard of practice regarding jailbreaking evaluation. Second, existing works compute costs and success rates in incomparable ways. And third, numerous works are not reproducible, as they withhold adversarial prompts, involve closed-source code, or rely on evolving proprietary APIs. To address these challenges, we introduce JailbreakBench, an open-sourced benchmark with the following components: (1) an evolving repository of state-of-the-art adversarial prompts, which we refer to as jailbreak artifacts; (2) a jailbreaking dataset comprising 100 behaviors — both original and sourced from prior work (Zou et al., 2023; Mazeika et al., 2023, 2024) — which align with OpenAI’s usage policies; (3) a standardized evaluation framework at https://github.com/JailbreakBench/jailbreakbench that includes a clearly defined threat model, system prompts, chat templates, and scoring functions; and (4) a leaderboard at https://jailbreakbench.github.io/ that tracks the performance of attacks and defenses for various LLMs. We have carefully considered the potential ethical implications of releasing this benchmark, and believe that it will be a net positive for the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google