Immune: Improving Safety Against Jailbreaks in Multi-modal LLMs via Inference-Time Alignment

要約

視覚的な季節のタスクのためのマルチモーダル大手言語モデル（MLLMS）の広範な展開により、安全性の向上が重要になりました。
最近の研究では、トレーニング時間の安全性の調整にもかかわらず、これらのモデルは脱獄攻撃に対して脆弱なままであることが示されています。
この作業では、最初に、安全トレーニングのみを通じて達成されたアラインメントが脱獄攻撃に対して不十分である可能性があることを説明するための重要な安全性のギャップを強調しています。
この脆弱性に対処するために、脱獄攻撃を防御するために制御されたデコードを通じて安全な報酬モデルを活用する推論時間防衛フレームワークである免疫を提案します。
さらに、免疫の数学的特性評価を提供し、脱獄に対する安全性を向上させる理由についての洞察を提供します。
最近のMLLMを使用した多様な脱獄ベンチマークに関する広範な評価により、免疫はモデルの元の機能を維持しながらモデルの安全性を効果的に向上させることが明らかになりました。
たとえば、LLAVA-1.6に対するテキストベースの脱獄攻撃に対して、免疫は、基本MLLMおよび最先端の防衛戦略と比較して、それぞれ攻撃の成功率を57.82％および16.78％減少させます。

要約(オリジナル)

With the widespread deployment of Multimodal Large Language Models (MLLMs) for visual-reasoning tasks, improving their safety has become crucial. Recent research indicates that despite training-time safety alignment, these models remain vulnerable to jailbreak attacks. In this work, we first highlight an important safety gap to describe that alignment achieved solely through safety training may be insufficient against jailbreak attacks. To address this vulnerability, we propose Immune, an inference-time defense framework that leverages a safe reward model through controlled decoding to defend against jailbreak attacks. Additionally, we provide a mathematical characterization of Immune, offering insights on why it improves safety against jailbreaks. Extensive evaluations on diverse jailbreak benchmarks using recent MLLMs reveal that Immune effectively enhances model safety while preserving the model’s original capabilities. For instance, against text-based jailbreak attacks on LLaVA-1.6, Immune reduces the attack success rate by 57.82% and 16.78% compared to the base MLLM and state-of-the-art defense strategy, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google