SCA: Highly Efficient Semantic-Consistent Unrestricted Adversarial Attack

要約

敏感な環境に展開された深いニューラルネットワークベースのシステムは、敵対的な攻撃に対して脆弱です。
無制限の敵対的な攻撃は、通常、画像のセマンティックコンテンツ（色やテクスチャなど）を操作して、効果的かつ光選挙的な両方の敵対的な例を作成します。
最近の作品では、拡散反転プロセスを利用して、画像を潜在空間にマッピングしました。そこでは、摂動を導入することで高レベルのセマンティクスが操作されます。
しかし、それらはしばしば、除去された出力にかなりの意味的な歪みをもたらし、効率が低いことに苦しんでいます。
この研究では、編集に優しいノイズマップを抽出し、マルチモーダル大手言語モデル（MLLM）を利用してプロセス全体でセマンティックガイダンスを提供するために反転方法を採用するセマンティックコンシンテーション無制限の敵対攻撃（SCA）と呼ばれる新しいフレームワークを提案します。
MLLMが提供する豊富なセマンティック情報の条件下で、一連の編集に優しいノイズマップを使用して各ステップのDDPM除去プロセスを実行し、DPMソルバー++を活用してこのプロセスを加速し、セマンティックの一貫性で効率的なサンプリングを可能にします。
既存の方法と比較して、私たちのフレームワークは、最小限の識別可能なセマンティックの変化を示す効率的な敵対例を可能にします。
その結果、初めてセマンティックな敵対例（SCAE）を紹介します。
広範な実験と視覚化により、SCAの高効率が高く、特に最先端の攻撃よりも平均12倍高速であることが実証されています。
私たちの研究は、マルチメディア情報のセキュリティにさらに注意を引くことができます。

要約(オリジナル)

Deep neural network based systems deployed in sensitive environments are vulnerable to adversarial attacks. Unrestricted adversarial attacks typically manipulate the semantic content of an image (e.g., color or texture) to create adversarial examples that are both effective and photorealistic. Recent works have utilized the diffusion inversion process to map images into a latent space, where high-level semantics are manipulated by introducing perturbations. However, they often results in substantial semantic distortions in the denoised output and suffers from low efficiency. In this study, we propose a novel framework called Semantic-Consistent Unrestricted Adversarial Attacks (SCA), which employs an inversion method to extract edit-friendly noise maps and utilizes Multimodal Large Language Model (MLLM) to provide semantic guidance throughout the process. Under the condition of rich semantic information provided by MLLM, we perform the DDPM denoising process of each step using a series of edit-friendly noise maps, and leverage DPM Solver++ to accelerate this process, enabling efficient sampling with semantic consistency. Compared to existing methods, our framework enables the efficient generation of adversarial examples that exhibit minimal discernible semantic changes. Consequently, we for the first time introduce Semantic-Consistent Adversarial Examples (SCAE). Extensive experiments and visualizations have demonstrated the high efficiency of SCA, particularly in being on average 12 times faster than the state-of-the-art attacks. Our research can further draw attention to the security of multimedia information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google