RoBIC: A benchmark suite for assessing classifiers robustness

要約

敵対的攻撃の発展に伴い、多くの防御策が登場しました。
それに応じてモデルを客観的に評価する必要があります。
このホワイト ペーパーでは、RoBIC と名付けた新しいパラメーターのないベンチマークを提案することで、この懸念に体系的に取り組みます。
RoBIC は、新しい半歪み尺度を使用して、画像分類子の堅牢性を公正に評価します。
ホワイトボックス攻撃とブラックボックス攻撃に対するネットワークの堅牢性を、精度とは別に評価します。
RoBIC は、他の利用可能なベンチマークよりも高速です。
RoBIC によって評価された 16 の最近のモデルの堅牢性の有意差を示します。

要約(オリジナル)

Many defenses have emerged with the development of adversarial attacks. Models must be objectively evaluated accordingly. This paper systematically tackles this concern by proposing a new parameter-free benchmark we coin RoBIC. RoBIC fairly evaluates the robustness of image classifiers using a new half-distortion measure. It gauges the robustness of the network against white and black box attacks, independently of its accuracy. RoBIC is faster than the other available benchmarks. We present the significant differences in the robustness of 16 recent models as assessed by RoBIC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google