Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples

要約

敵対的な例に対する機械学習モデルの堅牢性を評価することは、困難な問題です。
多くの防御は、勾配ベースの攻撃を失敗させることにより、堅牢性について誤った認識を提供することが示されており、より厳密な評価の下では破られています。
現在の敵対的ロバスト性評価を改善するためのガイドラインとベスト プラクティスが提案されていますが、自動テストおよびデバッグ ツールがないため、これらの推奨事項を体系的に適用することは困難です。
この作業では、これらの制限を克服します。(i) 勾配ベースの攻撃の最適化にどのように影響するかに基づいて攻撃の失敗を分類し、多くの一般的な攻撃の実装と過去の評価に影響を与える 2 つの新しい失敗も明らかにします。
(ii) 攻撃の最適化プロセスでそのような失敗の存在を自動的に検出するために、失敗の 6 つの新しい指標を提案します。
(iii) 対応する修正を適用するための体系的なプロトコルを提案します。
3 つの異なるアプリケーション ドメインで 15 を超えるモデルを含む広範な実験的分析は、失敗の指標を使用して現在の敵対的ロバスト性評価をデバッグおよび改善できることを示しており、それによってそれらの自動化と体系化に向けた最初の具体的なステップを提供します。
オープンソース コードは、https://github.com/pralab/IndicatorsOfAttackFailure で入手できます。

要約(オリジナル)

Evaluating robustness of machine-learning models to adversarial examples is a challenging problem. Many defenses have been shown to provide a false sense of robustness by causing gradient-based attacks to fail, and they have been broken under more rigorous evaluations. Although guidelines and best practices have been suggested to improve current adversarial robustness evaluations, the lack of automatic testing and debugging tools makes it difficult to apply these recommendations in a systematic manner. In this work, we overcome these limitations by: (i) categorizing attack failures based on how they affect the optimization of gradient-based attacks, while also unveiling two novel failures affecting many popular attack implementations and past evaluations; (ii) proposing six novel indicators of failure, to automatically detect the presence of such failures in the attack optimization process; and (iii) suggesting a systematic protocol to apply the corresponding fixes. Our extensive experimental analysis, involving more than 15 models in 3 distinct application domains, shows that our indicators of failure can be used to debug and improve current adversarial robustness evaluations, thereby providing a first concrete step towards automatizing and systematizing them. Our open-source code is available at: https://github.com/pralab/IndicatorsOfAttackFailure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google