Diverse Gaussian Noise Consistency Regularization for Robustness and Uncertainty Calibration

要約

トレーニングとテストの分布が一致する場合、ディープ ニューラル ネットワークは高い予測精度を実現します。
ただし、実際には、この設定から逸脱して深刻なパフォーマンス低下を引き起こすさまざまなタイプの破損が発生します。
予期しないドメイン シフトが存在する場合に一般化に対処するために提案された方法はほとんどありません。
特に、デジタル ノイズの破損は、画像取得段階で実際に一般的に発生し、現在の堅牢性アプローチにとって大きな課題となっています。
この論文では、高いクリーンな精度を維持しながら、さまざまなノイズ破損の下で画像分類器のロバスト性を改善するための、多様なガウス ノイズ整合性正則化方法を提案します。
ローカル ロス ランドスケープ分析を使用して、ガウス ノイズ整合性正則化の動作を動機付け、理解するための境界を導き出します。
この単純なアプローチは、敵対的トレーニングやその他の強力で多様なデータ拡張ベースラインよりも、いくつかのベンチマークで、さまざまな予期しないノイズ破損に対する堅牢性を 4.2 ～ 18.4% 向上させることを示しています。
さらに、最先端の多様なデータ拡張技術と組み合わせた場合、最先端の実験では、いくつかの画像分類のすべての一般的な破損に対して、ロバスト性の精度が 3.7% 向上し、不確実性のキャリブレーションが 5.5% 向上することが示されています。
ベンチマーク。

要約(オリジナル)

Deep neural networks achieve high prediction accuracy when the train and test distributions coincide. In practice though, various types of corruptions occur which deviate from this setup and cause severe performance degradations. Few methods have been proposed to address generalization in the presence of unforeseen domain shifts. In particular, digital noise corruptions arise commonly in practice during the image acquisition stage and present a significant challenge for current robustness approaches. In this paper, we propose a diverse Gaussian noise consistency regularization method for improving robustness of image classifiers under a variety of noise corruptions while still maintaining high clean accuracy. We derive bounds to motivate and understand the behavior of our Gaussian noise consistency regularization using a local loss landscape analysis. We show that this simple approach improves robustness against various unforeseen noise corruptions by 4.2-18.4% over adversarial training and other strong diverse data augmentation baselines across several benchmarks. Furthermore, when combined with state-of-the-art diverse data augmentation techniques, experiments against state-of-the-art show our method further improves robustness accuracy by 3.7% and uncertainty calibration by 5.5% for all common corruptions on several image classification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google