SelfDefend: LLMs Can Defend Themselves against Jailbreaking in a Practical Manner

要約

ジェイルブレイクは、既製の大規模言語モデル (LLM) に導入されている安全性の調整をバイパスする新たな敵対的攻撃であり、人間ベース、最適化ベース、世代ベース、および最近の間接的および多言語ジェイルブレイクといった複数のカテゴリに進化しています。
。
ただし、実用的なジェイルブレイク防御を提供することは、上記のすべてのジェイルブレイク攻撃を処理するだけでなく、ユーザー プロンプトに対する無視できる遅延を引き起こす必要があり、オープンソースとクローズドソースの LLM の両方と互換性がある必要があるため、困難です。
このペーパーは、シャドウ スタックの従来のセキュリティ概念がメモリ オーバーフロー攻撃をどのように防御するかに着想を得て、SelfDefend と呼ばれる汎用 LLM ジェイルブレイク防御フレームワークを紹介します。このフレームワークは、防御インスタンスとしてシャドウ LLM を確立し、通常のスタック内のターゲット LLM インスタンスを同時に保護し、連携します。
チェックポイントベースのアクセス制御のために使用します。
SelfDefend の有効性は、既存の LLM (ターゲット LLM と防御 LLM の両方) がユーザー クエリ内の有害なプロンプトや意図を識別する機能を備えているという観察に基づいており、これはすべての主要な脱獄攻撃で一般的に使用されている GPT-3.5/4 モデルを使用して経験的に検証されています。
。
防御の堅牢性をさらに向上させ、コストを最小限に抑えるために、データ蒸留アプローチを採用して専用のオープンソース防御モデルを調整します。
これらのモデルは、6 つの最先端の防御機能を上回り、GPT-4 ベースの SelfDefend のパフォーマンスに匹敵し、余分な遅延が大幅に減少します。
また、調整されたモデルが適応型ジェイルブレイクとプロンプト インジェクションに対して堅牢であることも経験的に示しています。

要約(オリジナル)

Jailbreaking is an emerging adversarial attack that bypasses the safety alignment deployed in off-the-shelf large language models (LLMs) and has evolved into multiple categories: human-based, optimization-based, generation-based, and the recent indirect and multilingual jailbreaks. However, delivering a practical jailbreak defense is challenging because it needs to not only handle all the above jailbreak attacks but also incur negligible delays to user prompts, as well as be compatible with both open-source and closed-source LLMs. Inspired by how the traditional security concept of shadow stacks defends against memory overflow attacks, this paper introduces a generic LLM jailbreak defense framework called SelfDefend, which establishes a shadow LLM as a defense instance to concurrently protect the target LLM instance in the normal stack and collaborate with it for checkpoint-based access control. The effectiveness of SelfDefend builds upon our observation that existing LLMs (both target and defense LLMs) have the capability to identify harmful prompts or intentions in user queries, which we empirically validate using the commonly used GPT-3.5/4 models across all major jailbreak attacks. To further improve the defense’s robustness and minimize costs, we employ a data distillation approach to tune dedicated open-source defense models. These models outperform six state-of-the-art defenses and match the performance of GPT-4-based SelfDefend, with significantly lower extra delays. We also empirically show that the tuned models are robust to adaptive jailbreaks and prompt injections.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google