On Evaluating Adversarial Robustness of Large Vision-Language Models

要約

GPT-4 などの大規模ビジョン言語モデル (VLM) は、応答生成、特に視覚入力で前例のないパフォーマンスを達成し、ChatGPT などの大規模言語モデルよりも創造的で適応性のある対話を可能にします。
それにもかかわらず、攻撃者は最も脆弱なモダリティ (視覚など) を巧妙に操作することでシステム全体をうまく回避する可能性があるため、マルチモーダル生成は安全性の懸念を悪化させます。
この目的を達成するために、最も現実的でリスクの高い設定で、オープンソースの大規模 VLM の堅牢性を評価することを提案します。この設定では、攻撃者はブラックボックス システムへのアクセスのみを持ち、モデルをだまして標的の応答を返そうとします。
具体的には、最初に CLIP や BLIP などの事前トレーニング済みモデルに対してターゲットを絞った敵対的サンプルを作成し、次にこれらの敵対的サンプルを MiniGPT-4、LLaVA、UniDiffuser、BLIP-2、Img2Prompt などの他の VLM に転送します。
さらに、これらの VLM に対するブラックボックス クエリにより、標的型回避の有効性がさらに向上し、その結果、標的型応答の生成において驚くほど高い成功率が得られることが観察されています。
私たちの調査結果は、大規模な VLM の敵対的脆弱性に関する定量的な理解を提供し、実際に導入する前に潜在的なセキュリティ上の欠陥をより徹底的に調査することを求めています。
コードは https://github.com/yunqing-me/ AttackVLM にあります。

要約(オリジナル)

Large vision-language models (VLMs) such as GPT-4 have achieved unprecedented performance in response generation, especially with visual inputs, enabling more creative and adaptable interaction than large language models such as ChatGPT. Nonetheless, multimodal generation exacerbates safety concerns, since adversaries may successfully evade the entire system by subtly manipulating the most vulnerable modality (e.g., vision). To this end, we propose evaluating the robustness of open-source large VLMs in the most realistic and high-risk setting, where adversaries have only black-box system access and seek to deceive the model into returning the targeted responses. In particular, we first craft targeted adversarial examples against pretrained models such as CLIP and BLIP, and then transfer these adversarial examples to other VLMs such as MiniGPT-4, LLaVA, UniDiffuser, BLIP-2, and Img2Prompt. In addition, we observe that black-box queries on these VLMs can further improve the effectiveness of targeted evasion, resulting in a surprisingly high success rate for generating targeted responses. Our findings provide a quantitative understanding regarding the adversarial vulnerability of large VLMs and call for a more thorough examination of their potential security flaws before deployment in practice. Code is at https://github.com/yunqing-me/AttackVLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google