Efficient and Effective Universal Adversarial Attack against Vision-Language Pre-training Models

要約

大規模な画像とテキストのペアでトレーニングされた視覚言語事前トレーニング (VLP) モデルは、さまざまな下流の視覚と言語 (V+L) タスク全体で広く使用されるようになりました。
この広範な採用により、敵対的な攻撃に対する脆弱性に関する懸念が生じます。
非普遍的な敵対的攻撃は効果的ではありますが、データ インスタンスあたりの計算要求が高いため、リアルタイム オンライン アプリケーションでは現実的ではないことがよくあります。
最近、ユニバーサル敵対的摂動 (UAP) が解決策として導入されましたが、既存のジェネレーターベースの UAP 手法は非常に時間がかかります。
この制限を克服するために、DO-UAP と呼ばれる直接最適化ベースの UAP アプローチを提案します。これは、高い攻撃パフォーマンスを維持しながらリソース消費を大幅に削減します。
具体的には、マルチモーダル損失設計の必要性を検討し、有用なデータ拡張戦略を導入します。
3 つのベンチマーク VLP データセット、6 つの一般的な VLP モデル、および 3 つの古典的なダウンストリーム タスクに対して行われた広範な実験により、DO-UAP の効率と有効性が実証されました。
具体的には、私たちのアプローチは、より優れた攻撃パフォーマンスを達成しながら、消費時間を大幅に 23 分の 1 に削減します。

要約(オリジナル)

Vision-language pre-training (VLP) models, trained on large-scale image-text pairs, have become widely used across a variety of downstream vision-and-language (V+L) tasks. This widespread adoption raises concerns about their vulnerability to adversarial attacks. Non-universal adversarial attacks, while effective, are often impractical for real-time online applications due to their high computational demands per data instance. Recently, universal adversarial perturbations (UAPs) have been introduced as a solution, but existing generator-based UAP methods are significantly time-consuming. To overcome the limitation, we propose a direct optimization-based UAP approach, termed DO-UAP, which significantly reduces resource consumption while maintaining high attack performance. Specifically, we explore the necessity of multimodal loss design and introduce a useful data augmentation strategy. Extensive experiments conducted on three benchmark VLP datasets, six popular VLP models, and three classical downstream tasks demonstrate the efficiency and effectiveness of DO-UAP. Specifically, our approach drastically decreases the time consumption by 23-fold while achieving a better attack performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google