Typography Leads Semantic Diversifying: Amplifying Adversarial Transferability across Multimodal Large Language Models

要約

最近、マルチモーダル大規模言語モデル (MLLM) は、その卓越したクロスモーダル インタラクションと理解能力により、数多くのゼロショット タスクで目覚ましいパフォーマンスを達成しています。
しかし、MLLM は人間が感知できない敵対的な例に対して依然として脆弱であることがわかっています。
現実世界のシナリオにおけるセキュリティ脆弱性の調査では、モデル間で影響を与える可能性がある転送可能性が、敵対的な例によってもたらされる最大の脅威と考えられます。
しかし、現時点では、MLLM 間の敵対的移転可能性の脅威に関する体系的な研究はありません。
したがって、このペーパーは、さまざまな MLLM によって生成された敵対的な例の移転可能性の包括的な評価を提供する最初のステップとして提供されます。
さらに、転送可能性のパフォーマンスに影響を与える 2 つの重要な要素を活用します。1) 敵対的生成プロセスに関与する情報の多様性の強さ。
2) 視覚と言語のモダリティ情報を横断して編集する。
MLLM 間の敵対的転送可能性のパフォーマンスをさらに調査するために、Typography Augment Transferability Method (TATM) と呼ばれる強化方法を提案します。
広範な実験検証を通じて、当社の TATM は、「有害な単語の挿入」と「重要な情報の保護」の実世界のアプリケーションで優れたパフォーマンスを実証しています。

要約(オリジナル)

Recently, Multimodal Large Language Models (MLLMs) achieve remarkable performance in numerous zero-shot tasks due to their outstanding cross-modal interaction and comprehension abilities. However, MLLMs are found to still be vulnerable to human-imperceptible adversarial examples. In the exploration of security vulnerabilities in real-world scenarios, transferability, which can achieve cross-model impact, is considered the greatest threat posed by adversarial examples. However, there is currently no systematic research on the threat of cross-MLLMs adversarial transferability. Therefore, this paper as the first step to provide a comprehensive evaluation of the transferability of adversarial examples generated by various MLLMs. Furthermore, leveraging two key factors that influence transferability performance: 1) The strength of information diversity involved in the adversarial generation process; 2) Editing across vision-language modality information. We propose a boosting method called Typography Augment Transferability Method (TATM) to investigate the adversarial transferability performance across MLLMs further. Through extensive experimental validation, our TATM demonstrates exceptional performance in real-world applications of ‘Harmful Word Insertion’ and ‘Important Information Protection’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google