Towards Good Practices in Evaluating Transfer Adversarial Attacks

要約

転送敵対的攻撃は、現実世界のブラックボックス シナリオで重大なセキュリティ上の懸念を引き起こします。
ただし、既存の評価には主に 2 つの制限があるため、実際の攻撃手法の進歩を評価することは困難です。
第 1 に、既存の評価は体系的ではなく、場合によっては不公平です。これは、新しい方法が、類似の方法との完全な比較なしに古い方法に直接追加されることが多いためです。
第二に、既存の評価は主に転送可能性に焦点を当てていますが、別の重要な攻撃特性であるステルス性を見落としています。
この作業では、これらの制限に対処するための優れたプラクティスを設計します。
最初に、特定のカテゴリごとに類似した攻撃の体系的な分析を可能にする、新しい攻撃の分類を導入します。
私たちの分析は、既存の知識を補完する、あるいは挑戦する新しい発見につながります。
さらに、ImageNet 上の 9 つの防御に対して、23 の代表的な攻撃を総合的に評価します。
私たちは、さまざまな非知覚性指標を採用し、新しいより細かい特性を調べることで、ステルス性に特に注意を払います。
私たちの評価により、新しい重要な洞察が明らかになりました。
2) すべての転送攻撃はステルス性が低く、そのステルス性は同じ $L_{\infty}$ 境界の下で劇的に変化する可能性があります。

要約(オリジナル)

Transfer adversarial attacks raise critical security concerns in real-world, black-box scenarios. However, the actual progress of attack methods is difficult to assess due to two main limitations in existing evaluations. First, existing evaluations are unsystematic and sometimes unfair since new methods are often directly added to old ones without complete comparisons to similar methods. Second, existing evaluations mainly focus on transferability but overlook another key attack property: stealthiness. In this work, we design good practices to address these limitations. We first introduce a new attack categorization, which enables our systematic analyses of similar attacks in each specific category. Our analyses lead to new findings that complement or even challenge existing knowledge. Furthermore, we comprehensively evaluate 23 representative attacks against 9 defenses on ImageNet. We pay particular attention to stealthiness, by adopting diverse imperceptibility metrics and looking into new, finer-grained characteristics. Our evaluation reveals new important insights: 1) Transferability is highly contextual, and some white-box defenses may give a false sense of security since they are actually vulnerable to (black-box) transfer attacks; 2) All transfer attacks are less stealthy, and their stealthiness can vary dramatically under the same $L_{\infty}$ bound.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google