Rethinking the Backward Propagation for Adversarial Transferability

要約

転送ベースの攻撃は、サロゲート モデル上に敵対的な例を生成し、アクセスすることなく他のブラック ボックス モデルを誤解させる可能性があり、現実世界のアプリケーションを攻撃する可能性があります。
最近、敵対的転送可能性を高めるためにいくつかの研究が提案されていますが、そこではサロゲート モデルが通常見落とされています。
この研究では、非線形層 (ReLU、max-pooling など) が逆方向伝播中に勾配を切り捨て、入力画像に対する勾配が損失関数に対して不正確になることを確認しました。
我々は、そのような切り捨てが敵対的な例の移転可能性を損なうという仮説を立て、経験的に検証します。
これらの発見に基づいて、我々は、逆伝播攻撃 (BPA) と呼ばれる新しい方法を提案し、勾配との関連性を高めます。
入力画像と損失関数を組み合わせて、より高い伝達性を持つ敵対的な例を生成します。
具体的には、BPA は ReLU の導関数として非単調関数を採用し、温度を伴うソフトマックスを組み込んで max-pooling の導関数を平滑化することで、勾配の逆伝播中の情報損失を軽減します。
ImageNet データセットに関する実験結果は、私たちの方法が敵対的な転送可能性を大幅に高めるだけでなく、既存の転送ベースの攻撃にも一般的であることを示しています。

要約(オリジナル)

Transfer-based attacks generate adversarial examples on the surrogate model, which can mislead other black-box models without any access, making it promising to attack real-world applications. Recently, several works have been proposed to boost adversarial transferability, in which the surrogate model is usually overlooked. In this work, we identify that non-linear layers (e.g., ReLU, max-pooling, etc.) truncate the gradient during backward propagation, making the gradient w.r.t.input image imprecise to the loss function. We hypothesize and empirically validate that such truncation undermines the transferability of adversarial examples. Based on these findings, we propose a novel method called Backward Propagation Attack (BPA) to increase the relevance between the gradient w.r.t. input image and loss function so as to generate adversarial examples with higher transferability. Specifically, BPA adopts a non-monotonic function as the derivative of ReLU and incorporates softmax with temperature to smooth the derivative of max-pooling, thereby mitigating the information loss during the backward propagation of gradients. Empirical results on the ImageNet dataset demonstrate that not only does our method substantially boost the adversarial transferability, but it also is general to existing transfer-based attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google