$L_2$BN: Enhancing Batch Normalization by Equalizing the $L_2$ Norms of Features

要約

この論文では、サンプル特徴の $l_2$ ノルムの違いにより、バッチ正規化がより際立ったクラス間特徴とよりコンパクトなクラス内特徴を取得するのを妨げる可能性があることを示します。
この問題に対処するために、サンプル機能の $l_2$ ノルムを均等化する直感的で効果的な方法を提案します。
具体的には、バッチ正規化に供給する前に各サンプルの特徴を $l_2$ 正規化するため、特徴は同じ大きさになります。
提案された方法は $l_2$ 正規化とバッチ正規化を組み合わせているため、この方法に $L_2$BN という名前を付けます。
$L_2$BN は、クラス内の特徴のコンパクトさを強化し、クラス間の特徴の不一致を拡大する可能性があります。
$L_2$BN は実装が簡単で、追加のパラメーターやハイパーパラメーターなしでその効果を発揮できます。
したがって、ニューラル ネットワークの基本的な正規化方法として使用できます。
画像分類および音響シーン分類タスクに関するさまざまなモデルを使用した広範な実験を通じて、$L_2$BN の有効性を評価します。
この結果は、$L_2$BN がさまざまなニューラル ネットワーク モデルの汎化能力を高め、パフォーマンスを大幅に改善できることを示しています。

要約(オリジナル)

In this paper, we show that the difference in $l_2$ norms of sample features can hinder batch normalization from obtaining more distinguished inter-class features and more compact intra-class features. To address this issue, we propose an intuitive but effective method to equalize the $l_2$ norms of sample features. Concretely, we $l_2$-normalize each sample feature before feeding them into batch normalization, and therefore the features are of the same magnitude. Since the proposed method combines the $l_2$ normalization and batch normalization, we name our method $L_2$BN. The $L_2$BN can strengthen the compactness of intra-class features and enlarge the discrepancy of inter-class features. The $L_2$BN is easy to implement and can exert its effect without any additional parameters or hyper-parameters. Therefore, it can be used as a basic normalization method for neural networks. We evaluate the effectiveness of $L_2$BN through extensive experiments with various models on image classification and acoustic scene classification tasks. The results demonstrate that the $L_2$BN can boost the generalization ability of various neural network models and achieve considerable performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google