Robust Models are less Over-Confident

要約

畳み込みニューラルネットワーク（CNN）は、コンピュータビジョンに関する多くの学術的ベンチマークで成功を収めているにもかかわらず、実世界での応用は依然として根本的な課題を抱えています。これらの未解決問題の1つは、敵対的な攻撃の顕著な有効性によって明らかになった、固有のロバスト性の欠如です。現在の攻撃手法は、入力に特定の少量のノイズを加えることでネットワークの予測を操作することができる。一方、敵対的学習（AT）は、学習セットに敵対的なサンプルを含めることで、このような攻撃に対する頑健性を実現し、理想的にはより良いモデルの汎化能力を得ることを目的としている。しかし、その結果得られる頑健なモデルについて、敵対的頑健性を超える詳細な分析はまだ行われていない。本論文では、最先端の攻撃に直面した際に高いロバスト精度を達成する様々な敵対的学習モデルを実証的に分析し、ATには興味深い副作用があることを示す。それは、クリーンデータ上でも、非ロバストモデルに比べて、意思決定の過信が著しく少ないモデルをもたらすというものである。さらに、ロバストモデルの分析から、ATだけでなく、モデルの構成要素（活性化関数やプーリングなど）もモデルの予測信頼度に強い影響を与えることが示されました。データ＆プロジェクトサイト： https://github.com/GeJulia/robustness_confidences_evaluation

要約(オリジナル)

Despite the success of convolutional neural networks (CNNs) in many academic benchmarks for computer vision tasks, their application in the real-world is still facing fundamental challenges. One of these open problems is the inherent lack of robustness, unveiled by the striking effectiveness of adversarial attacks. Current attack methods are able to manipulate the network’s prediction by adding specific but small amounts of noise to the input. In turn, adversarial training (AT) aims to achieve robustness against such attacks and ideally a better model generalization ability by including adversarial samples in the trainingset. However, an in-depth analysis of the resulting robust models beyond adversarial robustness is still pending. In this paper, we empirically analyze a variety of adversarially trained models that achieve high robust accuracies when facing state-of-the-art attacks and we show that AT has an interesting side-effect: it leads to models that are significantly less overconfident with their decisions, even on clean data than non-robust models. Further, our analysis of robust models shows that not only AT but also the model’s building blocks (like activation functions and pooling) have a strong influence on the models’ prediction confidences. Data & Project website: https://github.com/GeJulia/robustness_confidences_evaluation

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL