Boosting Transferability in Vision-Language Attacks via Diversification along the Intersection Region of Adversarial Trajectory

要約

ビジョン言語事前トレーニング (VLP) モデルは、画像とテキストの両方を理解する点で優れた能力を示しますが、依然としてマルチモーダルな敵対的例 (AE) の影響を受けやすいです。攻撃を強化し、特に VLP モデルによくある問題 (転送性の高い AE など) の脆弱性を明らかにします。
)、信頼性が高く実用的な VLP モデルを進歩させることができます。
最近の研究 (つまり、セットレベルのガイダンス攻撃) では、画像とテキストのペアを強化して最適化パスに沿って AE の多様性を高めると、敵対的な例の転送可能性が大幅に向上することが示されています。
ただし、このアプローチは主にオンラインの敵対的例 (つまり、最適化期間の AE) の多様性を強調するため、被害者モデルが過剰適合して転送可能性に影響を与えるリスクにつながります。この研究では、敵対的例の多様性は、
クリーンな入力とオンライン AE はどちらも、VLP モデル間での転送性を高めるために極めて重要です。
したがって、AE の多様性を拡大するために、敵対的軌道の交差領域に沿った多様化を使用することを提案します。モダリティ間の相互作用を十分に活用するために、最適化中にテキストガイドによる敵対的例の選択を導入します。
さらに、潜在的なオーバーフィッティングをさらに軽減するために、既存の方法のような敵対的な画像ではなく、最適化パスに沿って最後の交差領域から逸脱する敵対的なテキストを指示します。広範な実験により、さまざまな VLP モデル間での転送性の向上におけるこの方法の有効性が確認され、
下流の視覚と言語のタスク。

要約(オリジナル)

Vision-language pre-training (VLP) models exhibit remarkable capabilities in comprehending both images and text, yet they remain susceptible to multimodal adversarial examples (AEs).Strengthening attacks and uncovering vulnerabilities, especially common issues in VLP models (e.g., high transferable AEs), can advance reliable and practical VLP models. A recent work (i.e., Set-level guidance attack) indicates that augmenting image-text pairs to increase AE diversity along the optimization path enhances the transferability of adversarial examples significantly. However, this approach predominantly emphasizes diversity around the online adversarial examples (i.e., AEs in the optimization period), leading to the risk of overfitting the victim model and affecting the transferability.In this study, we posit that the diversity of adversarial examples towards the clean input and online AEs are both pivotal for enhancing transferability across VLP models. Consequently, we propose using diversification along the intersection region of adversarial trajectory to expand the diversity of AEs.To fully leverage the interaction between modalities, we introduce text-guided adversarial example selection during optimization. Furthermore, to further mitigate the potential overfitting, we direct the adversarial text deviating from the last intersection region along the optimization path, rather than adversarial images as in existing methods.Extensive experiments affirm the effectiveness of our method in improving transferability across various VLP models and downstream vision-and-language tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google