Low-Frequency Black-Box Backdoor Attack via Evolutionary Algorithm

要約

畳み込みニューラル ネットワーク (CNN) はコンピューター ビジョン タスクで成功を収めていますが、バックドア攻撃に対して脆弱です。
このような攻撃は、被害者モデルを誤解させ、特定のトリガー パターンで攻撃者が選択した予測を行う可能性があります。
これまで、既存の攻撃のトリガー注入は主に空間領域に限定されていました。
最近の作品では、周波数領域に特定のパターンを植え付ける知覚特性を利用しています。これは、ピクセル領域で区別できないピクセル単位の摂動のみを反映します。
ただし、ブラックボックス設定では、トレーニング プロセスにアクセスできないため、トリガーの設計がより複雑になることがよくあります。
既存の周波数攻撃は、単純にスペクトルの大きさを手動で操作し、クリーンなデータと汚染されたデータの間に異常な周波数の差異をもたらし、画像処理操作 (非可逆圧縮やフィルタリングなど) によって除去されるリスクを冒します。
この論文では、周波数スペクトルの低周波成分の混乱を最小限に抑え、同時に空間空間における知覚の類似性を維持する、堅牢な低周波ブラックボックス バックドア攻撃 (LFBA) を提案します。
私たちの攻撃の重要な洞察は、二重空間での高い攻撃効果、画像変換防御に対する堅牢性、およびステルス性を達成できる最適なトリガーの探索を低周波数領域に限定します。
進化的アルゴリズムの一種であるシミュレーテッド アニーリング (SA) を利用して、ビクティム分類器からの知識に依存せずに、操作される周波数帯域の数や各周波数成分の摂動などの周波数トリガーの特性を最適化します。
実世界のデータセットを対象とした広範な実験により、画像処理操作や最先端の​​バックドア防御に対する LFBA の有効性と堅牢性、さらに空間空間と周波数空間の両方における固有のステルス性が検証され、周波​​数検査に対する耐性が得られます。

要約(オリジナル)

While convolutional neural networks (CNNs) have achieved success in computer vision tasks, it is vulnerable to backdoor attacks. Such attacks could mislead the victim model to make attacker-chosen prediction with a specific trigger pattern. Until now, the trigger injection of existing attacks is mainly limited to spatial domain. Recent works take advantage of perceptual properties of planting specific patterns in the frequency domain, which only reflect indistinguishable pixel-wise perturbations in pixel domain. However, in the black-box setup, the inaccessibility of training process often renders more complex trigger designs. Existing frequency attacks simply handcraft the magnitude of spectrum, introducing anomaly frequency disparities between clean and poisoned data and taking risks of being removed by image processing operations (such as lossy compression and filtering). In this paper, we propose a robust low-frequency black-box backdoor attack (LFBA), which minimally perturbs low-frequency components of frequency spectrum and maintains the perceptual similarity in spatial space simultaneously. The key insight of our attack restrict the search for the optimal trigger to low-frequency region that can achieve high attack effectiveness, robustness against image transformation defenses and stealthiness in dual space. We utilize simulated annealing (SA), a form of evolutionary algorithm, to optimize the properties of frequency trigger including the number of manipulated frequency bands and the perturbation of each frequency component, without relying on the knowledge from the victim classifier. Extensive experiments on real-world datasets verify the effectiveness and robustness of LFBA against image processing operations and the state-of-the-art backdoor defenses, as well as its inherent stealthiness in both spatial and frequency space, making it resilient against frequency inspection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google