Learning To See But Forgetting To Follow: Visual Instruction Tuning Makes LLMs More Prone To Jailbreak Attacks

要約

画像理解機能を備えた大規模言語モデル (LLM) の強化により、高性能の視覚言語モデル (VLM) がブームになりました。
LLM を人間の価値観に合わせる研究は広く注目を集めていますが、VLM の安全性については同様の注目が集まっていません。
このペーパーでは、それぞれが異なるモデリング アプローチを使用している 3 つの最先端の VLM に対するジェイルブレイクの影響を調査します。
各 VLM をそれぞれの LLM バックボーンと比較すると、各 VLM がジェイルブレイクの影響を受けやすいことがわかります。
私たちはこれを、LLM の安全ガードレールに忘却効果をもたらす、視覚的な指示の調整による望ましくない結果であると考えています。
したがって、VLM の弱点を強調することを目的とした評価戦略に基づいて、将来の作業に関する推奨事項を提供し、視覚的命令の調整中に安全対策を考慮します。

要約(オリジナル)

Augmenting Large Language Models (LLMs) with image-understanding capabilities has resulted in a boom of high-performing Vision-Language models (VLMs). While studying the alignment of LLMs to human values has received widespread attention, the safety of VLMs has not received the same attention. In this paper, we explore the impact of jailbreaking on three state-of-the-art VLMs, each using a distinct modeling approach. By comparing each VLM to their respective LLM backbone, we find that each VLM is more susceptible to jailbreaking. We consider this as an undesirable outcome from visual instruction-tuning, which imposes a forgetting effect on an LLM’s safety guardrails. Therefore, we provide recommendations for future work based on evaluation strategies that aim to highlight the weaknesses of a VLM, as well as take safety measures into account during visual instruction tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google