AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting

要約

マルチモーダル大規模言語モデル (MLLM) の出現と広範な展開に伴い、その安全性を確保することがますます重要になっています。
しかし、追加のモダリティの統合により、MLLM は新たな脆弱性にさらされ、MLLM を誤解させるために意味論的なコンテンツ (「有害なテキスト」など) が画像に挿入される、構造化ベースのジェイルブレイク攻撃を受けやすくなります。
この取り組みでは、そのような脅威から防御することを目的としています。
具体的には、\textbf{Ada}ptive \textbf{Shield} プロンプティング (\textbf{AdaShield}) を提案します。これは、MLLM の微調整や追加モジュールのトレーニング (例:
、ポストステージコンテンツ検出器）。
最初に、手動で設計された静的防御プロンプトを提示します。これは、画像と指示の内容を段階的に徹底的に検査し、悪意のあるクエリに対する応答方法を指定します。
さらに、ターゲット MLLM と LLM ベースの防御プロンプト ジェネレーター (Defender) で構成される適応型自動調整フレームワークを導入します。
これらのコンポーネントは連携して反復的に通信して、防御プロンプトを生成します。
一般的な構造ベースのジェイルブレイク攻撃と無害なデータセットに関する広範な実験により、私たちの手法が、標準的な無害なタスクで評価されたモデルの一般的な機能を損なうことなく、構造ベースのジェイルブレイク攻撃に対する MLLM の堅牢性を一貫して向上できることが示されました。
私たちのコードは https://github.com/rain305f/AdaShield で入手できます。

要約(オリジナル)

With the advent and widespread deployment of Multimodal Large Language Models (MLLMs), the imperative to ensure their safety has become increasingly pronounced. However, with the integration of additional modalities, MLLMs are exposed to new vulnerabilities, rendering them prone to structured-based jailbreak attacks, where semantic content (e.g., ‘harmful text’) has been injected into the images to mislead MLLMs. In this work, we aim to defend against such threats. Specifically, we propose \textbf{Ada}ptive \textbf{Shield} Prompting (\textbf{AdaShield}), which prepends inputs with defense prompts to defend MLLMs against structure-based jailbreak attacks without fine-tuning MLLMs or training additional modules (e.g., post-stage content detector). Initially, we present a manually designed static defense prompt, which thoroughly examines the image and instruction content step by step and specifies response methods to malicious queries. Furthermore, we introduce an adaptive auto-refinement framework, consisting of a target MLLM and a LLM-based defense prompt generator (Defender). These components collaboratively and iteratively communicate to generate a defense prompt. Extensive experiments on the popular structure-based jailbreak attacks and benign datasets show that our methods can consistently improve MLLMs’ robustness against structure-based jailbreak attacks without compromising the model’s general capabilities evaluated on standard benign tasks. Our code is available at https://github.com/rain305f/AdaShield.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google