OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization

要約

ビジョン言語事前トレーニング (VLP) モデルは、画像とテキストの両方の処理において優れた能力を示します。
ただし、マルチモーダル敵対的例 (AE) に対して脆弱です。
実際のシナリオにおける VLP モデルの脆弱性を明らかにするには、転送可能性の高い敵対的な例の生成を調査することが重要です。
最近の研究では、データ拡張と画像とテキストのモーダル インタラクションを活用することで、VLP モデルの敵対的な例の転送可能性を大幅に向上できることが示されています。
ただし、データ拡張された画像とテキストのペア間の最適な位置合わせの問題は考慮されていません。
この見落としにより、敵対的な例がソース モデルに過度に調整されることになり、転送性の向上が制限されます。
私たちの研究では、まず、データ拡張によって生成された画像セットとそれに対応するテキスト セットの間の相互作用を調査します。
拡張された画像サンプルは、他のテキストとの関連性が低い一方で、特定のテキストと最適に位置合わせできることがわかりました。
これを動機として、私たちは OT 攻撃と呼ばれる、最適なトランスポートベースの敵対的攻撃を提案します。
提案された方法は、画像とテキストのセットの特徴を 2 つの異なる分布として定式化し、最適トランスポート理論を使用してそれらの間の最も効率的なマッピングを決定します。
この最適なマッピングは、過剰適合の問題に効果的に対抗するための敵対的な例の生成に情報を提供します。
画像とテキストのマッチング タスクにおけるさまざまなネットワーク アーキテクチャとデータセットにわたる広範な実験により、当社の OT- Attack が敵対的転送可能性の点で既存の最先端の手法を上回ることが明らかになりました。

要約(オリジナル)

Vision-language pre-training (VLP) models demonstrate impressive abilities in processing both images and text. However, they are vulnerable to multi-modal adversarial examples (AEs). Investigating the generation of high-transferability adversarial examples is crucial for uncovering VLP models’ vulnerabilities in practical scenarios. Recent works have indicated that leveraging data augmentation and image-text modal interactions can enhance the transferability of adversarial examples for VLP models significantly. However, they do not consider the optimal alignment problem between dataaugmented image-text pairs. This oversight leads to adversarial examples that are overly tailored to the source model, thus limiting improvements in transferability. In our research, we first explore the interplay between image sets produced through data augmentation and their corresponding text sets. We find that augmented image samples can align optimally with certain texts while exhibiting less relevance to others. Motivated by this, we propose an Optimal Transport-based Adversarial Attack, dubbed OT-Attack. The proposed method formulates the features of image and text sets as two distinct distributions and employs optimal transport theory to determine the most efficient mapping between them. This optimal mapping informs our generation of adversarial examples to effectively counteract the overfitting issues. Extensive experiments across various network architectures and datasets in image-text matching tasks reveal that our OT-Attack outperforms existing state-of-the-art methods in terms of adversarial transferability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google