Improving the Robustness and Generalization of Deep Neural Network with Confidence Threshold Reduction

要約

深いニューラルネットワークは、知覚できない摂動によって簡単に攻撃されます。
現在、敵対的トレーニング（AT）は、敵対的例に対するモデルの堅牢性を強化するための最も効果的な方法です。
ただし、敵対的訓練は最小-最大値の問題を解決したため、自然な訓練と比較して、ロバスト性と一般化は矛盾しています。つまり、モデルのロバスト性の改善はモデルの一般化を減少させます。
この問題に対処するために、このペーパーでは、新しい概念、つまり信頼しきい値（CT）が導入され、信頼しきい値の削減（CTR）として知られる信頼しきい値の削減により、一般化と堅牢性の両方が向上することが証明されています。
モデル。
具体的には、自然トレーニング（つまり、CTRを使用した自然トレーニング）のCTを削減するために、クロスエントロピー損失項と直交項で構成されるマスクガイド発散損失関数（MDL）を提案します。
経験的および理論的分析は、MDL損失が、自然なトレーニングのためにモデルの堅牢性と一般化を同時に改善することを示しています。
ただし、CTRを使用した自然トレーニングのモデルの堅牢性の向上は、敵対的なトレーニングのモデルの堅牢性の向上とは比較できません。
したがって、敵対的訓練については、敵対的訓練の損失関数に統合することによってCTを低減するために、間違ったカテゴリの確率の差を最小化する標準偏差損失関数（STD）を提案します。
経験的および理論的分析は、STDベースの損失関数が、自然精度の変化のないまたはわずかな改善を保証することに基づいて、敵対的に訓練されたモデルのロバスト性をさらに改善できることを示しています。

要約(オリジナル)

Deep neural networks are easily attacked by imperceptible perturbation. Presently, adversarial training (AT) is the most effective method to enhance the robustness of the model against adversarial examples. However, because adversarial training solved a min-max value problem, in comparison with natural training, the robustness and generalization are contradictory, i.e., the robustness improvement of the model will decrease the generalization of the model. To address this issue, in this paper, a new concept, namely confidence threshold (CT), is introduced and the reducing of the confidence threshold, known as confidence threshold reduction (CTR), is proven to improve both the generalization and robustness of the model. Specifically, to reduce the CT for natural training (i.e., for natural training with CTR), we propose a mask-guided divergence loss function (MDL) consisting of a cross-entropy loss term and an orthogonal term. The empirical and theoretical analysis demonstrates that the MDL loss improves the robustness and generalization of the model simultaneously for natural training. However, the model robustness improvement of natural training with CTR is not comparable to that of adversarial training. Therefore, for adversarial training, we propose a standard deviation loss function (STD), which minimizes the difference in the probabilities of the wrong categories, to reduce the CT by being integrated into the loss function of adversarial training. The empirical and theoretical analysis demonstrates that the STD based loss function can further improve the robustness of the adversarially trained model on basis of guaranteeing the changeless or slight improvement of the natural accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google