Impact of Noise on Calibration and Generalisation of Neural Networks

要約

ノイズ注入とデータ拡張戦略は、ニューラル ネットワーク (NN) の一般化と堅牢性を強化するのに効果的です。
ラベル スムージングや MixUp などの特定のタイプのノイズも、キャリブレーションを改善することが示されています。
NN のトレーニングのさまざまな段階でノイズを追加できるため、いつ、どこでノイズが最も効果的であるかという疑問が生じます。
私たちはさまざまな種類のノイズを研究し、どのような条件下でそれらがキャリブレーションと一般化をどの程度改善するかを判断します。
より具体的には、ディストリビューション内 (ID) とディストリビューション外 (OOD) の両方のシナリオでさまざまなノイズ注入戦略を評価します。
この調査結果は、アクティベーション ノイズが最も伝達可能で汎化の改善に効果的である一方、入力増強ノイズは OOD のキャリブレーションの改善に顕著であるが、必ずしも ID データではないことを強調しています。

要約(オリジナル)

Noise injection and data augmentation strategies have been effective for enhancing the generalisation and robustness of neural networks (NNs). Certain types of noise such as label smoothing and MixUp have also been shown to improve calibration. Since noise can be added in various stages of the NN’s training, it motivates the question of when and where the noise is the most effective. We study a variety of noise types to determine how much they improve calibration and generalisation, and under what conditions. More specifically we evaluate various noise-injection strategies in both in-distribution (ID) and out-of-distribution (OOD) scenarios. The findings highlight that activation noise was the most transferable and effective in improving generalisation, while input augmentation noise was prominent in improving calibration on OOD but not necessarily ID data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google