Prompt-Driven Contrastive Learning for Transferable Adversarial Attacks

要約

CLIP などの最近の視覚言語基盤モデルは、さまざまな下流タスクやドメインにわたって転送可能な学習表現における優れた機能を実証しています。
このような強力なモデルの出現により、困難な視覚タスクに取り組む際にその機能を効果的に活用することが重要になりました。
一方で、未知のドメインとモデル アーキテクチャの両方にうまく移行できる敵対的な例の考案に焦点を当てた研究はわずかです。
この論文では、PDCL-アタックと呼ばれる新しい転送攻撃手法を提案します。この手法は、CLIP モデルを利用して、生成モデルベースの攻撃フレームワークによって生成される敵対的摂動の転送可能性を強化します。
具体的には、特に入力画像のグラウンドトゥルースクラスラベルからのテキストの意味表現力を利用することにより、効果的なプロンプト主導の機能ガイダンスを策定します。
私たちの知る限り、私たちは転移可能な生成攻撃を強化するためのプロンプト学習を初めて導入しました。
さまざまなクロスドメインおよびクロスモデル設定にわたって行われた広範な実験により、私たちのアプローチが経験的に検証され、最先端の方法よりも優れていることが実証されました。

要約(オリジナル)

Recent vision-language foundation models, such as CLIP, have demonstrated superior capabilities in learning representations that can be transferable across diverse range of downstream tasks and domains. With the emergence of such powerful models, it has become crucial to effectively leverage their capabilities in tackling challenging vision tasks. On the other hand, only a few works have focused on devising adversarial examples that transfer well to both unknown domains and model architectures. In this paper, we propose a novel transfer attack method called PDCL-Attack, which leverages the CLIP model to enhance the transferability of adversarial perturbations generated by a generative model-based attack framework. Specifically, we formulate an effective prompt-driven feature guidance by harnessing the semantic representation power of text, particularly from the ground-truth class labels of input images. To the best of our knowledge, we are the first to introduce prompt learning to enhance the transferable generative attacks. Extensive experiments conducted across various cross-domain and cross-model settings empirically validate our approach, demonstrating its superiority over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google