Towards Evaluating Transfer-based Attacks Systematically, Practically, and Fairly

要約

ディープ ニューラル ネットワーク (DNN) の敵対的な脆弱性は、これらのモデルを現実世界のアプリケーションに適用する際のセキュリティ リスクのため、大きな注目を集めています。
敵対的な例の転送可能性に基づいて、アーキテクチャとパラメータにアクセスできないブラックボックス DNN モデルを騙す転送ベースの手法がますます開発されています。
多大な努力が払われてきましたが、これらの方法を体系的、公平かつ実践的に比較するために利用できる標準化されたベンチマークがまだありません。
私たちの調査によると、一部の手法の評価は、たとえば不公平な比較や、考えられる代替モデル/被害者モデルの不十分な検討を避けるために、その有効性を検証するために、より合理的かつ徹底的に行う必要があることがわかりました。
したがって、30 以上の方法を実装した転送ベースの攻撃ベンチマーク (TA-Bench) を確立します。
このペーパーでは、ImageNet で人気のある 25 の代替モデル/犠牲モデルについて包括的に評価し、比較します。
これらの方法の有効性について新たな洞察が得られ、将来の評価のためのガイドラインが提供されます。
コードは https://github.com/qizhangli/TA-Bench にあります。

要約(オリジナル)

The adversarial vulnerability of deep neural networks (DNNs) has drawn great attention due to the security risk of applying these models in real-world applications. Based on transferability of adversarial examples, an increasing number of transfer-based methods have been developed to fool black-box DNN models whose architecture and parameters are inaccessible. Although tremendous effort has been exerted, there still lacks a standardized benchmark that could be taken advantage of to compare these methods systematically, fairly, and practically. Our investigation shows that the evaluation of some methods needs to be more reasonable and more thorough to verify their effectiveness, to avoid, for example, unfair comparison and insufficient consideration of possible substitute/victim models. Therefore, we establish a transfer-based attack benchmark (TA-Bench) which implements 30+ methods. In this paper, we evaluate and compare them comprehensively on 25 popular substitute/victim models on ImageNet. New insights about the effectiveness of these methods are gained and guidelines for future evaluations are provided. Code at: https://github.com/qizhangli/TA-Bench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google