Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework

要約

バッチ正規化 (BN) は、現代のニューラル ネットワーク設計において不可欠な技術となっており、トレーニングの安定性を高めています。
具体的には、BN はセンタリングおよびスケーリング操作を使用してバッチ次元に沿って特徴を標準化し、アフィン変換を使用して特徴を回復します。
標準 BN は、ディープ ニューラル ネットワークのトレーニングと収束を向上させる機能を示していますが、特定の場合には依然として固有の制限が存在します。
BN を強化する既存の技術のほとんどは、BN の 1 つまたはいくつかの側面を考慮しています。
この論文では、まず機能の観点から BN の問題を特定し、BN を採用する際の学習に機能の凝縮が存在し、テストのパフォーマンスに悪影響を与えることを調査します。
この問題に取り組むために、Unified Batch Normalization (UBN) と呼ばれる 2 段階の統合フレームワークを提案します。
最初の段階では、単純な特徴圧縮閾値を利用して、正規化における不適切な統計更新を妨げる特徴圧縮を軽減します。
第 2 段階では、さまざまな正規化バリアントを統合して、BN の各コンポーネントを強化します。
私たちの実験結果では、UBN がさまざまなビジュアル バックボーン全体でパフォーマンスを大幅に向上させ、特にトレーニングの初期段階でネットワーク トレーニングの収束を特に促進することが明らかになりました。
特に、私たちの方法は、大きなバッチサイズでの ImageNet 分類のトップ 1 精度で約 3% 向上し、現実世界のシナリオにおける私たちのアプローチの有効性を示しています。

要約(オリジナル)

Batch Normalization (BN) has become an essential technique in contemporary neural network design, enhancing training stability. Specifically, BN employs centering and scaling operations to standardize features along the batch dimension and uses an affine transformation to recover features. Although standard BN has shown its capability to improve deep neural network training and convergence, it still exhibits inherent limitations in certain cases. Most existing techniques that enhance BN consider a single or a few aspects of BN. In this paper, we first identify problems with BN from a feature perspective and explore that feature condensation exists in the learning when employing BN, which negatively affects testing performance. To tackle this problem, we propose a two-stage unified framework called Unified Batch Normalization (UBN). In the first stage, we utilize a simple feature condensation threshold to alleviate the feature condensation, which hinders inappropriate statistic updates in normalization. In the second stage, we unify various normalization variants to boost each component of BN. Our experimental results reveal that UBN significantly enhances performance across different visual backbones and notably expedites network training convergence, particularly in early training stages. Notably, our method improved about 3% in top-1 accuracy on ImageNet classification with large batch sizes, showing the effectiveness of our approach in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google