Normalizing Batch Normalization for Long-Tailed Recognition

要約

実際のシナリオでは、クラス全体のトレーニング サンプルの数は通常、ロングテール分布の影響を受けます。
従来の方法でトレーニングされたネットワークは、頻度の高いクラスと比較して、まれなクラスで予想外に劣るパフォーマンスを達成する可能性があります。
これまでの研究のほとんどは、データ レベルまたは分類子レベルからネットワークの偏りを修正しようとしました。
これとは異なり、この論文では、頻度の高いクラスに対するバイアスが特徴にエンコードされている可能性があること、つまり、稀なクラスを識別する際に重要な役割を果たす稀な固有の特徴は、頻度の高い固有の特徴よりもはるかに弱いことを特定します。
このような観察に基づいて、バッチ正規化 (BN) 層のパラメーターを正規化して特徴の偏りを明示的に修正する、シンプルかつ効果的なアプローチを紹介します。
この目的を達成するために、BN 層の重み/バイアス パラメータをベクトルとして表し、それを単位 1 に正規化し、その単位ベクトルに学習可能なスカラー パラメータを乗算します。
学習する BN 層のパラメータの方向と大きさを分離することにより、重み/バイアスはよりバランスの取れた分布を示し、その結果、特徴の強度がより均一になります。
さまざまなロングテール認識ベンチマーク (つまり、CIFAR-10/100-LT、ImageNet-LT、iNaturalist 2018) に関する広範な実験により、私たちの手法が以前の最先端技術を著しく上回ることが示されました。
コードとチェックポイントは https://github.com/yuxiangbao/NBN で入手できます。

要約(オリジナル)

In real-world scenarios, the number of training samples across classes usually subjects to a long-tailed distribution. The conventionally trained network may achieve unexpected inferior performance on the rare class compared to the frequent class. Most previous works attempt to rectify the network bias from the data-level or from the classifier-level. Differently, in this paper, we identify that the bias towards the frequent class may be encoded into features, i.e., the rare-specific features which play a key role in discriminating the rare class are much weaker than the frequent-specific features. Based on such an observation, we introduce a simple yet effective approach, normalizing the parameters of Batch Normalization (BN) layer to explicitly rectify the feature bias. To achieve this end, we represent the Weight/Bias parameters of a BN layer as a vector, normalize it into a unit one and multiply the unit vector by a scalar learnable parameter. Through decoupling the direction and magnitude of parameters in BN layer to learn, the Weight/Bias exhibits a more balanced distribution and thus the strength of features becomes more even. Extensive experiments on various long-tailed recognition benchmarks (i.e., CIFAR-10/100-LT, ImageNet-LT and iNaturalist 2018) show that our method outperforms previous state-of-the-arts remarkably. The code and checkpoints are available at https://github.com/yuxiangbao/NBN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google