MF-CLIP: Leveraging CLIP as Surrogate Models for No-box Adversarial Attacks

要約

深いニューラルネットワーク（DNNS）の敵対的な攻撃に対する脆弱性は、安全性の高いアプリケーションでの展開に大きな課題をもたらします。
広範な研究ではさまざまな攻撃シナリオに対処していますが、ターゲットモデルのトレーニングデータへのアクセスを含む事前知識がない場合は、その実用的な関連性にもかかわらず、比較的目立たない依存しています。
この作業は、ノーボックス攻撃を実行するためのサロゲートモデルとして、大規模なビジョン言語モデル（VLMS）、特にクリップを活用するための体系的な調査を提示します。
私たちの理論的および経験的分析は、代理モデルとしてバニラクリップを直接適用するための不十分な識別能力に起因するNO-Box攻撃の実行における重要な制限を明らかにしています。
この制限に対処するために、MF-Clipを提案します。これは、マージンを認識する機能スペースの最適化を通じて、代理モデルとしてのクリップの有効性を高める新しいフレームワークです。
多様なアーキテクチャとデータセット全体の包括的な評価は、MFクリップがノーボックス攻撃で最先端の攻撃を大幅に進め、標準モデルで既存のベースラインを15.23％上回り、敵対的に訓練されたモデルで9.52％の改善を達成することを示しています。
私たちのコードは、この方向での再現性と将来の研究を促進するために公開されます。

要約(オリジナル)

The vulnerability of Deep Neural Networks (DNNs) to adversarial attacks poses a significant challenge to their deployment in safety-critical applications. While extensive research has addressed various attack scenarios, the no-box attack setting where adversaries have no prior knowledge, including access to training data of the target model, remains relatively underexplored despite its practical relevance. This work presents a systematic investigation into leveraging large-scale Vision-Language Models (VLMs), particularly CLIP, as surrogate models for executing no-box attacks. Our theoretical and empirical analyses reveal a key limitation in the execution of no-box attacks stemming from insufficient discriminative capabilities for direct application of vanilla CLIP as a surrogate model. To address this limitation, we propose MF-CLIP: a novel framework that enhances CLIP’s effectiveness as a surrogate model through margin-aware feature space optimization. Comprehensive evaluations across diverse architectures and datasets demonstrate that MF-CLIP substantially advances the state-of-the-art in no-box attacks, surpassing existing baselines by 15.23% on standard models and achieving a 9.52% improvement on adversarially trained models. Our code will be made publicly available to facilitate reproducibility and future research in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google