BCN: Batch Channel Normalization for Image Classification

要約

正規化技術は、より高い学習レートを可能にし、初期化に慎重でないため、ディープラーニングの分野で広く使われてきた。しかし、一般的な正規化技術の有効性は、一般的に特定の領域に限られている。BNが(N,H,W)次元に沿って平均と分散を計算し、LNが(C,H,W)次元に沿って平均と分散を計算する標準的なバッチ正規化(Batch Normalization: BN)やレイヤー正規化(Layer Normalization: LN)とは異なり（N,C,H,Wはそれぞれバッチ、チャンネル、空間高さ、幅の次元）、本稿ではバッチチャンネル正規化(Batch Channel Normalization: BCN)と呼ばれる新しい正規化技術を紹介する。チャンネル依存性とバッチ依存性の両方を利用し、特定のデータセットやタスクに基づいて適応的にBNとLNの利点を組み合わせるために、BCNは(N, H, W)と(C, H, W)軸に沿って別々に入力を正規化し、適応的なパラメータに基づいて正規化出力を結合する。基本ブロックとして、BCNはコンピュータビジョン分野の様々な応用のための既存のモデルに容易に統合することができる。経験的な結果は、提案技術がCNNやVision Transformerアーキテクチャの様々なバージョンにシームレスに適用できることを示している。コードは https://github.com/AfifaKhaled/BatchChannel-Normalization で公開されている。

要約(オリジナル)

Normalization techniques have been widely used in the field of deep learning due to their capability of enabling higher learning rates and are less careful in initialization. However, the effectiveness of popular normalization technologies is typically limited to specific areas. Unlike the standard Batch Normalization (BN) and Layer Normalization (LN), where BN computes the mean and variance along the (N,H,W) dimensions and LN computes the mean and variance along the (C,H,W) dimensions (N, C, H and W are the batch, channel, spatial height and width dimension, respectively), this paper presents a novel normalization technique called Batch Channel Normalization (BCN). To exploit both the channel and batch dependence and adaptively and combine the advantages of BN and LN based on specific datasets or tasks, BCN separately normalizes inputs along the (N, H, W) and (C, H, W) axes, then combines the normalized outputs based on adaptive parameters. As a basic block, BCN can be easily integrated into existing models for various applications in the field of computer vision. Empirical results show that the proposed technique can be seamlessly applied to various versions of CNN or Vision Transformer architecture. The code is publicly available at https://github.com/AfifaKhaled/BatchChannel-Normalization

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL