Diffusion-based Adversarial Purification from the Perspective of the Frequency Domain

要約

拡散に基づく敵対的浄化法は、順方向処理によって敵対的摂動を等方性ノイズの一部に紛れ込ませ、逆方向処理によってきれいな画像を復元しようとするものである。画素領域では敵対的摂動に関する分布情報がないため、正常な意味論が損なわれることはしばしば避けられない。我々は周波数領域の観点に目を向け、画像を振幅スペクトルと位相スペクトルに分解する。両スペクトルにおいて、敵対的摂動によるダメージは周波数とともに単調に増加する傾向があることがわかる。これは、ダメージの少ない周波数成分から、元のきれいなサンプルの内容と構造情報を抽出できることを意味する。一方、理論的な解析によれば、既存の精製方法は全ての周波数成分に無差別にダメージを与え、画像に過剰なダメージを与える。そこで我々は、原画像の内容と構造を最大限に保存しつつ、敵対的な摂動を除去できる浄化法を提案する。具体的には、逆プロセスの各時間ステップにおいて、振幅スペクトルについては、推定画像の振幅スペクトルの低周波成分を敵対画像の対応する部分と置き換える。位相スペクトルについては、推定画像の位相を敵対画像の位相スペクトルの指定された範囲に投影し、低周波に焦点を当てる。広範な実験から得られた経験的証拠は、我々の方法が現在のほとんどの防御方法を大幅に上回ることを実証している。

要約(オリジナル)

The diffusion-based adversarial purification methods attempt to drown adversarial perturbations into a part of isotropic noise through the forward process, and then recover the clean images through the reverse process. Due to the lack of distribution information about adversarial perturbations in the pixel domain, it is often unavoidable to damage normal semantics. We turn to the frequency domain perspective, decomposing the image into amplitude spectrum and phase spectrum. We find that for both spectra, the damage caused by adversarial perturbations tends to increase monotonically with frequency. This means that we can extract the content and structural information of the original clean sample from the frequency components that are less damaged. Meanwhile, theoretical analysis indicates that existing purification methods indiscriminately damage all frequency components, leading to excessive damage to the image. Therefore, we propose a purification method that can eliminate adversarial perturbations while maximizing the preservation of the content and structure of the original image. Specifically, at each time step during the reverse process, for the amplitude spectrum, we replace the low-frequency components of the estimated image’s amplitude spectrum with the corresponding parts of the adversarial image. For the phase spectrum, we project the phase of the estimated image into a designated range of the adversarial image’s phase spectrum, focusing on the low frequencies. Empirical evidence from extensive experiments demonstrates that our method significantly outperforms most current defense methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL