$L_2$BN: Enhancing Batch Normalization by Equalizing the $L_2$ Norms of Features

要約

この論文では、識別可能性の観点からバッチ正規化を分析し、以前の研究で無視されていた欠点を見つけます。サンプル特徴の $l_2$ ノルムの違いは、バッチ正規化がより顕著なクラス間特徴とよりコンパクトなクラス内特徴を取得するのを妨げる可能性があります。
特徴。
この問題に対処するために、サンプル機能の $l_2$ ノルムを均等化するためのシンプルで効果的な方法を提案します。
具体的には、バッチ正規化に供給する前に各サンプルの特徴を $l_2$ 正規化するため、特徴は同じ大きさになります。
提案された方法は $l_2$ 正規化とバッチ正規化を組み合わせているため、この方法に $L_2$BN という名前を付けます。
$L_2$BN は、クラス内の特徴のコンパクトさを強化し、クラス間の特徴の不一致を拡大する可能性があります。
$L_2$BN は実装が簡単で、追加のパラメーターやハイパーパラメーターなしでその効果を発揮できます。
画像分類および音響シーン分類タスクに関するさまざまなモデルを使用した広範な実験を通じて、$L_2$BN の有効性を評価します。
この結果は、$L_2$BN がさまざまなニューラル ネットワーク モデルの汎化能力を高め、パフォーマンスを大幅に改善できることを示しています。

要約(オリジナル)

In this paper, we analyze batch normalization from the perspective of discriminability and find the disadvantages ignored by previous studies: the difference in $l_2$ norms of sample features can hinder batch normalization from obtaining more distinguished inter-class features and more compact intra-class features. To address this issue, we propose a simple yet effective method to equalize the $l_2$ norms of sample features. Concretely, we $l_2$-normalize each sample feature before feeding them into batch normalization, and therefore the features are of the same magnitude. Since the proposed method combines the $l_2$ normalization and batch normalization, we name our method $L_2$BN. The $L_2$BN can strengthen the compactness of intra-class features and enlarge the discrepancy of inter-class features. The $L_2$BN is easy to implement and can exert its effect without any additional parameters or hyper-parameters. We evaluate the effectiveness of $L_2$BN through extensive experiments with various models on image classification and acoustic scene classification tasks. The results demonstrate that the $L_2$BN can boost the generalization ability of various neural network models and achieve considerable performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google