JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models

要約

ジェイルブレイク攻撃により、大規模言語モデル (LLM) が有害なコンテンツ、非倫理的なコンテンツ、またはその他の好ましくないコンテンツを生成します。
これらの攻撃を評価するには、現在の一連のベンチマークや評価手法では適切に対処できない多くの課題が生じます。
まず、ジェイルブレイクの評価に関して明確な実践基準がありません。
第二に、既存の研究では、比類のない方法でコストと成功率が計算されます。
そして第三に、多くの作品は、敵対的なプロンプトを差し控えたり、クローズドソース コードを使用したり、進化する独自の API に依存したりするため、再現できません。
これらの課題に対処するために、次のコンポーネントを備えたオープンソースのベンチマークである JailbreakBench を導入します。(1) 最先端の敵対的プロンプトの進化するリポジトリ。これをジェイルブレイク アーティファクトと呼びます。
(2) OpenAI の使用ポリシーに準拠した 100 の動作 (オリジナルおよび以前の研究からのソースの両方) で構成されるジェイルブレイク データセット。
(3) 明確に定義された脅威モデル、システム プロンプト、チャット テンプレート、スコアリング機能を含む標準化された評価フレームワーク。
(4) さまざまな LLM の攻撃と防御のパフォーマンスを追跡するリーダーボード。
私たちはこのベンチマークをリリースすることによる潜在的な倫理的影響を慎重に検討しており、それがコミュニティにとって正味プラスになると信じています。
研究コミュニティにおける技術的および方法論的な進歩を反映するために、時間の経過とともにベンチマークを拡張および適応させていきます。

要約(オリジナル)

Jailbreak attacks cause large language models (LLMs) to generate harmful, unethical, or otherwise objectionable content. Evaluating these attacks presents a number of challenges, which the current collection of benchmarks and evaluation techniques do not adequately address. First, there is no clear standard of practice regarding jailbreaking evaluation. Second, existing works compute costs and success rates in incomparable ways. And third, numerous works are not reproducible, as they withhold adversarial prompts, involve closed-source code, or rely on evolving proprietary APIs. To address these challenges, we introduce JailbreakBench, an open-sourced benchmark with the following components: (1) an evolving repository of state-of-the-art adversarial prompts, which we refer to as jailbreak artifacts; (2) a jailbreaking dataset comprising 100 behaviors — both original and sourced from prior work — which align with OpenAI’s usage policies; (3) a standardized evaluation framework that includes a clearly defined threat model, system prompts, chat templates, and scoring functions; and (4) a leaderboard that tracks the performance of attacks and defenses for various LLMs. We have carefully considered the potential ethical implications of releasing this benchmark, and believe that it will be a net positive for the community. Over time, we will expand and adapt the benchmark to reflect technical and methodological advances in the research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google