SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation

要約

現在の Visual-Language Pre-training (VLP) モデルは、敵対的な例に対して脆弱です。
これらの敵対的な例は、モデルに固有の弱点を利用して不正確な予測を引き起こす可能性があるため、VLP モデルに重大なセキュリティ リスクをもたらします。
ホワイトボックス敵対的攻撃とは対照的に、転送攻撃 (敵対者が別のブラックボックス モデルを騙すためにホワイトボックス モデル上に敵対的例を作成する攻撃) は現実世界のシナリオをより反映しているため、研究にとってより有意義なものになります。
既存の研究を要約して分析することにより、VLP モデルに対する転送攻撃の有効性に影響を与える可能性がある 2 つの要因、つまりモーダル間の相互作用とデータの多様性を特定しました。
これらの洞察に基づいて、SA 攻撃と呼ばれる自己拡張ベースの転送攻撃手法を提案します。
具体的には、敵対的画像と敵対的テキストの生成中に、生成された敵対的画像とテキストの敵対的転送可能性を向上させることを目的として、画像モダリティとテキストモダリティにそれぞれ異なるデータ拡張手法を適用します。
FLickr30K および COCO データセットに対して行われた実験により、私たちの手法の有効性が検証されました。
私たちのコードは、この論文が受理された後に利用可能になります。

要約(オリジナル)

Current Visual-Language Pre-training (VLP) models are vulnerable to adversarial examples. These adversarial examples present substantial security risks to VLP models, as they can leverage inherent weaknesses in the models, resulting in incorrect predictions. In contrast to white-box adversarial attacks, transfer attacks (where the adversary crafts adversarial examples on a white-box model to fool another black-box model) are more reflective of real-world scenarios, thus making them more meaningful for research. By summarizing and analyzing existing research, we identified two factors that can influence the efficacy of transfer attacks on VLP models: inter-modal interaction and data diversity. Based on these insights, we propose a self-augment-based transfer attack method, termed SA-Attack. Specifically, during the generation of adversarial images and adversarial texts, we apply different data augmentation methods to the image modality and text modality, respectively, with the aim of improving the adversarial transferability of the generated adversarial images and texts. Experiments conducted on the FLickr30K and COCO datasets have validated the effectiveness of our method. Our code will be available after this paper is accepted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google