MEAD: A Multi-Armed Approach for Evaluation of Adversarial Examples Detectors

要約

重要なアプリケーションに機械学習アルゴリズムを安全に導入することが重要であるため、敵対的な例の検出はここ数年注目されています。
ただし、検出方法は通常、実際の脅威を必ずしも考慮していない、単一の暗黙的に既知の攻撃戦略を想定することによって検証されます。
実際、これは検出器の性能の過度に楽観的な評価につながる可能性があり、競合する検出スキーム間の比較にいくらかのバイアスを引き起こす可能性があります。
この制限を克服するために、いくつかの攻撃戦略に基づいて検出器を評価するために、MEADと呼ばれる新しいマルチアームフレームワークを提案します。
その中で、攻撃を生成するために3つの新しい目的を利用します。
提案されたパフォーマンスメトリックは、最悪のシナリオに基づいています。つまり、すべての異なる攻撃が正しく認識された場合にのみ、検出が成功します。
経験的に、私たちは私たちのアプローチの有効性を示しています。
さらに、最先端の検出器で得られた性能の低さは、新しい刺激的な研究ラインを開きます。

要約(オリジナル)

Detection of adversarial examples has been a hot topic in the last years due to its importance for safely deploying machine learning algorithms in critical applications. However, the detection methods are generally validated by assuming a single implicitly known attack strategy, which does not necessarily account for real-life threats. Indeed, this can lead to an overoptimistic assessment of the detectors’ performance and may induce some bias in the comparison between competing detection schemes. We propose a novel multi-armed framework, called MEAD, for evaluating detectors based on several attack strategies to overcome this limitation. Among them, we make use of three new objectives to generate attacks. The proposed performance metric is based on the worst-case scenario: detection is successful if and only if all different attacks are correctly recognized. Empirically, we show the effectiveness of our approach. Moreover, the poor performance obtained for state-of-the-art detectors opens a new exciting line of research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google