A Comprehensive Evaluation Framework for Deep Model Robustness

要約

ディープ ニューラル ネットワーク (DNN) は、さまざまなアプリケーションで優れたパフォーマンスを達成していますが、敵対的な例に対して脆弱であり、モデルの堅牢性の評価とベンチマークの動機となっています。
ただし、現在の評価では通常、単純な指標を使用して防御のパフォーマンスを調査しており、これらの防御方法の制限や弱点を理解するにはほど遠い.
したがって、ほとんどの提案された防御策は攻撃に成功することがすぐに示され、その結果、攻撃と防御の間で「軍拡競争」現象が発生します。
この問題を軽減するために、23 の包括的かつ厳密なメトリックを含むモデルの堅牢性評価フレームワークを確立します。このメトリックは、敵対的学習の 2 つの主要な視点 (つまり、データとモデル) を考慮します。
ニューロンのカバレッジとデータの知覚不能性を通じて、データ指向の指標を使用してテスト例の完全性を測定します。
モデルの構造と動作を掘り下げることにより、モデル指向のメトリックを活用して、敵対的な設定での堅牢性をさらに評価します。
フレームワークの有効性を完全に実証するために、オープンソース プラットフォームでさまざまなモデルと防御を使用して、CIFAR-10、SVHN、ImageNet などの複数のデータセットで大規模な実験を行います。
全体として、私たちの論文は包括的な評価フレームワークを提供し、研究者はオープンソースのツールキットを使用して包括的かつ迅速な評価を行うことができ、分析結果はより深い理解とモデルの堅牢性のさらなる改善を刺激する可能性があります。

要約(オリジナル)

Deep neural networks (DNNs) have achieved remarkable performance across a wide range of applications, while they are vulnerable to adversarial examples, which motivates the evaluation and benchmark of model robustness. However, current evaluations usually use simple metrics to study the performance of defenses, which are far from understanding the limitation and weaknesses of these defense methods. Thus, most proposed defenses are quickly shown to be attacked successfully, which results in the “arm race” phenomenon between attack and defense. To mitigate this problem, we establish a model robustness evaluation framework containing 23 comprehensive and rigorous metrics, which consider two key perspectives of adversarial learning (i.e., data and model). Through neuron coverage and data imperceptibility, we use data-oriented metrics to measure the integrity of test examples; by delving into model structure and behavior, we exploit model-oriented metrics to further evaluate robustness in the adversarial setting. To fully demonstrate the effectiveness of our framework, we conduct large-scale experiments on multiple datasets including CIFAR-10, SVHN, and ImageNet using different models and defenses with our open-source platform. Overall, our paper provides a comprehensive evaluation framework, where researchers could conduct comprehensive and fast evaluations using the open-source toolkit, and the analytical results could inspire deeper understanding and further improvement to the model robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google