Ghost Noise for Regularizing Deep Neural Networks

要約

バッチ正規化 (BN) は、最適化プロセスを安定化し、ディープ ニューラル ネットワークのテスト パフォーマンスを向上させるために広く使用されています。
BN の正則化効果はバッチ サイズに依存し、ゴースト バッチ正規化 (GBN) として知られる方法であるバッチ正規化でより小さいバッチ サイズを明示的に使用すると、多くの設定で汎化が向上することがわかっています。
正規化によって引き起こされる「ゴーストノイズ」を解きほぐし、ノイズの分布とモデルのパフォーマンスへの影響を定量的に分析することで、GBN の有効性を調査します。
私たちの分析に触発されて、小規模バッチトレーニングによる有害なトレーニングテストの不一致効果を引き起こすことなく、GBN のノイズを模倣するゴーストノイズインジェクション (GNI) と呼ばれる新しい正則化手法を提案します。
我々は、GNI が GBN よりも一般化の利点を提供できることを実験的に示しています。
ゴースト ノイズ インジェクションは、レイヤー正規化ネットワークなどのノイズの少ない設定でも有益であり、バッチ正規化におけるゴースト ノイズの正則化機能の有用性を示す追加の証拠を提供します。

要約(オリジナル)

Batch Normalization (BN) is widely used to stabilize the optimization process and improve the test performance of deep neural networks. The regularization effect of BN depends on the batch size and explicitly using smaller batch sizes with Batch Normalization, a method known as Ghost Batch Normalization (GBN), has been found to improve generalization in many settings. We investigate the effectiveness of GBN by disentangling the induced “Ghost Noise” from normalization and quantitatively analyzing the distribution of noise as well as its impact on model performance. Inspired by our analysis, we propose a new regularization technique called Ghost Noise Injection (GNI) that imitates the noise in GBN without incurring the detrimental train-test discrepancy effects of small batch training. We experimentally show that GNI can provide a greater generalization benefit than GBN. Ghost Noise Injection can also be beneficial in otherwise non-noisy settings such as layer-normalized networks, providing additional evidence of the usefulness of Ghost Noise in Batch Normalization as a regularizer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google