Unveiling Typographic Deceptions: Insights of the Typographic Vulnerability in Large Vision-Language Model

要約

大規模視覚言語モデル (LVLM) は、視覚エンコーダと大規模言語モデル (LLM) に依存して、視覚と言語の共同空間におけるさまざまなマルチモーダル タスクで優れた機能を発揮します。
しかし、対照言語画像事前学習 (CLIP) などの視覚言語モデル (VLM) を破壊するタイポグラフィック攻撃も、LVLM に対するセキュリティ上の脅威になると予想されています。
まず、現在よく知られている商用およびオープンソースの LVLM に対するタイポグラフィ攻撃を検証し、この脅威が広範囲に存在していることを明らかにします。
次に、この脆弱性をより適切に評価するために、これまでで最も包括的かつ最大規模のタイポグラフィック データセットを提案します。
Typographic Dataset は、さまざまなマルチモーダル タスクの下でのタイポグラフィ攻撃の評価を考慮するだけでなく、さまざまな要因で生成されたテキストの影響を受けるタイポグラフィ攻撃の影響も評価します。
評価結果に基づいて、タイポグラフィ攻撃が VLM および LVLM に影響を与える可能性がある原因を調査し、3 つの非常に洞察力に富んだ発見につながりました。
私たちの発見の調査とタイポグラフィ データセットでの実験的検証により、LVLM がタイポグラフィ攻撃に直面したときのパフォーマンスの低下が $42.07\%$ から $13.90\%$ に減少しました。

要約(オリジナル)

Large Vision-Language Models (LVLMs) rely on vision encoders and Large Language Models (LLMs) to exhibit remarkable capabilities on various multi-modal tasks in the joint space of vision and language. However, the Typographic Attack, which disrupts vision-language models (VLMs) such as Contrastive Language-Image Pretraining (CLIP), has also been expected to be a security threat to LVLMs. Firstly, we verify typographic attacks on current well-known commercial and open-source LVLMs and uncover the widespread existence of this threat. Secondly, to better assess this vulnerability, we propose the most comprehensive and largest-scale Typographic Dataset to date. The Typographic Dataset not only considers the evaluation of typographic attacks under various multi-modal tasks but also evaluates the effects of typographic attacks, influenced by texts generated with diverse factors. Based on the evaluation results, we investigate the causes why typographic attacks may impact VLMs and LVLMs, leading to three highly insightful discoveries. By the examination of our discoveries and experimental validation in the Typographic Dataset, we reduce the performance degradation from $42.07\%$ to $13.90\%$ when LVLMs confront typographic attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google