Understanding and Improving Group Normalization

要約

ニューラルネットワークの学習を支援するために、様々な正規化層が提案されている。グループ正規化(GN)は、視覚認識タスクにおいて大きな性能を達成した、効果的で魅力的な研究の一つである。大きな成功を収めたにもかかわらず、GNにはニューラルネットワークの学習に悪影響を与える可能性のあるいくつかの問題が残っている。本論文では、分析フレームワークを紹介し、ニューラルネットワークの学習プロセスに影響を与えるGNの動作原理を議論する。実験結果から、GNがBatch normalization（BN）に劣る真の原因は、1）学習性能が不安定であること、2）外部ノイズや正則化によってもたらされる歪みに対して敏感であること、であると結論付けました。また、GNはBNと異なり、ある特定の期間しか学習を支援できないことが分かりました。これらの問題を解決するために、我々はBNの利点を取り入れ、GNの上に構築された新しい正規化層を提案する。画像分類課題に対する実験の結果、提案する正規化層は、バッチサイズによらず認識精度を向上させ、ネットワーク学習を安定化させることができ、公式のGNを上回る性能を持つことが実証された。

要約(オリジナル)

Various normalization layers have been proposed to help the training of neural networks. Group Normalization (GN) is one of the effective and attractive studies that achieved significant performances in the visual recognition task. Despite the great success achieved, GN still has several issues that may negatively impact neural network training. In this paper, we introduce an analysis framework and discuss the working principles of GN in affecting the training process of the neural network. From experimental results, we conclude the real cause of GN’s inferior performance against Batch normalization (BN): 1) \textbf{unstable training performance}, 2) \textbf{more sensitive} to distortion, whether it comes from external noise or perturbations introduced by the regularization. In addition, we found that GN can only help the neural network training in some specific period, unlike BN, which helps the network throughout the training. To solve these issues, we propose a new normalization layer built on top of GN, by incorporating the advantages of BN. Experimental results on the image classification task demonstrated that the proposed normalization layer outperforms the official GN to improve recognition accuracy regardless of the batch sizes and stabilize the network training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL