On the Robustness of Large Multimodal Models Against Image Adversarial Attacks

要約

命令チューニングの最近の進歩により、最先端の大規模マルチモーダル モデル (LMM) が開発されました。
これらのモデルの新規性を考慮すると、LMM に対する視覚的な敵対的攻撃の影響は十分に調査されていません。
私たちは、さまざまな敵対的攻撃に対するさまざまな LMM の堅牢性に関する包括的な調査を実施し、画像分類、画像キャプション、Visual Question Answer (VQA) などのタスクにわたって評価しました。
一般に、LMM は視覚的な敵対的な入力に対して堅牢ではないことがわかりました。
ただし、私たちの調査結果は、QA ペアでの質問などのプロンプトを介してモデルに提供されるコンテキストが、敵対的な視覚的入力の影響を軽減するのに役立つことを示唆しています。
注目すべきことに、評価された LMM は、ScienceQA タスクに対するこのような攻撃に対して顕著な回復力を示し、パフォーマンスの低下は 99.73% 低下した視覚的な対応物と比較してわずか 8.10% でした。
また、クエリ分解と呼ぶ現実世界の画像分類への新しいアプローチも提案します。
入力プロンプトに存在クエリを組み込むことにより、攻撃の有効性が低下し、画像分類の精度が向上することが観察されました。
この研究は、これまであまり研究されていなかった LMM の堅牢性の側面に焦点を当て、敵対的な環境におけるマルチモーダル システムの回復力を強化することを目的とした将来の研究の準備を整えます。

要約(オリジナル)

Recent advances in instruction tuning have led to the development of State-of-the-Art Large Multimodal Models (LMMs). Given the novelty of these models, the impact of visual adversarial attacks on LMMs has not been thoroughly examined. We conduct a comprehensive study of the robustness of various LMMs against different adversarial attacks, evaluated across tasks including image classification, image captioning, and Visual Question Answer (VQA). We find that in general LMMs are not robust to visual adversarial inputs. However, our findings suggest that context provided to the model via prompts, such as questions in a QA pair helps to mitigate the effects of visual adversarial inputs. Notably, the LMMs evaluated demonstrated remarkable resilience to such attacks on the ScienceQA task with only an 8.10% drop in performance compared to their visual counterparts which dropped 99.73%. We also propose a new approach to real-world image classification which we term query decomposition. By incorporating existence queries into our input prompt we observe diminished attack effectiveness and improvements in image classification accuracy. This research highlights a previously under-explored facet of LMM robustness and sets the stage for future work aimed at strengthening the resilience of multimodal systems in adversarial environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google