SCA: Highly Efficient Semantic-Consistent Unrestricted Adversarial Attack

要約

機密性の高い環境に展開されたディープ ニューラル ネットワーク ベースのシステムは、敵対的な攻撃に対して脆弱です。
無制限の敵対的攻撃は通常、画像の意味論的な内容 (色やテクスチャなど) を操作して、効果的かつ写真のようにリアルな敵対的サンプルを作成します。
最近の研究では、拡散反転プロセスを利用して画像を潜在空間にマッピングし、摂動を導入することで高レベルのセマンティクスを操作しています。
ただし、多くの場合、ノイズ除去された出力に大幅な意味上の歪みが生じ、効率が低くなります。
この研究では、意味一貫性のある無制限敵対的攻撃 (SCA) と呼ばれる新しいフレームワークを提案します。このフレームワークは、反転手法を採用して編集しやすいノイズ マップを抽出し、マルチモーダル大規模言語モデル (MLLM) を利用してプロセス全体で意味論的なガイダンスを提供します。
MLLM によって提供される豊富なセマンティック情報の条件下で、編集しやすい一連のノイズ マップを使用して各ステップの DDPM ノイズ除去プロセスを実行し、DPM Solver++ を利用してこのプロセスを高速化し、セマンティックな一貫性を備えた効率的なサンプリングを可能にします。
既存の方法と比較して、私たちのフレームワークは、識別可能な意味上の変化を最小限に抑えた敵対的な例を効率的に生成できます。
その結果、私たちは初めて Semantic-Consistent Adversarial Examples (SCAE) を導入します。
広範な実験と視覚化により、SCA の効率が高く、特に最先端の攻撃よりも平均で 12 倍高速であることが実証されました。
私たちの研究は、マルチメディア情報のセキュリティにさらに注目を集めることができます。

要約(オリジナル)

Deep neural network based systems deployed in sensitive environments are vulnerable to adversarial attacks. Unrestricted adversarial attacks typically manipulate the semantic content of an image (e.g., color or texture) to create adversarial examples that are both effective and photorealistic. Recent works have utilized the diffusion inversion process to map images into a latent space, where high-level semantics are manipulated by introducing perturbations. However, they often results in substantial semantic distortions in the denoised output and suffers from low efficiency. In this study, we propose a novel framework called Semantic-Consistent Unrestricted Adversarial Attacks (SCA), which employs an inversion method to extract edit-friendly noise maps and utilizes Multimodal Large Language Model (MLLM) to provide semantic guidance throughout the process. Under the condition of rich semantic information provided by MLLM, we perform the DDPM denoising process of each step using a series of edit-friendly noise maps, and leverage DPM Solver++ to accelerate this process, enabling efficient sampling with semantic consistency. Compared to existing methods, our framework enables the efficient generation of adversarial examples that exhibit minimal discernible semantic changes. Consequently, we for the first time introduce Semantic-Consistent Adversarial Examples (SCAE). Extensive experiments and visualizations have demonstrated the high efficiency of SCA, particularly in being on average 12 times faster than the state-of-the-art attacks. Our research can further draw attention to the security of multimedia information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google