Balanced Contrastive Learning for Long-Tailed Visual Recognition

要約

実世界のデータは通常、少数の多数カテゴリがデータの大部分を占め、ほとんどの少数カテゴリには限られた数のサンプルが含まれるロングテール分布に従います。
クロスエントロピーを最小化する分類モデルは、末尾のクラスを表現および分類するのに苦労します。
偏りのない分類器を学習する問題は十分に研究されていますが、不均衡なデータを表す方法は十分に調査されていません。
この論文では、不均衡なデータの表現学習に焦点を当てています。
最近、教師付き対照学習は、バランスの取れたデータで有望なパフォーマンスを示しています。
ただし、理論的分析を通じて、ロングテール データの場合、表現学習の理想的な幾何学的構成である正シンプレックスを形成できないことがわかりました。
SCL の最適化動作を修正し、ロングテール視覚認識のパフォーマンスをさらに向上させるために、バランスの取れた対照学習 (BCL) の新しい損失を提案します。
SCL と比較して、BCL には 2 つの改善点があります。負のクラスの勾配の寄与のバランスを取るクラス平均化。
すべてのクラスがすべてのミニバッチに表示されるようにします。
提案された平衡対比学習 (BCL) 法は、正シンプレックスを形成する条件を満たし、交差エントロピーの最適化を支援します。
BCL を搭載した提案された 2 分岐フレームワークは、より強力な特徴表現を取得し、CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、iNaturalist2018 などのロングテール ベンチマーク データセットで競争力のあるパフォーマンスを達成できます。
コードは https://github.com/FlamieZhu/BCL で入手できます。

要約(オリジナル)

Real-world data typically follow a long-tailed distribution, where a few majority categories occupy most of the data while most minority categories contain a limited number of samples. Classification models minimizing cross-entropy struggle to represent and classify the tail classes. Although the problem of learning unbiased classifiers has been well studied, methods for representing imbalanced data are under-explored. In this paper, we focus on representation learning for imbalanced data. Recently, supervised contrastive learning has shown promising performance on balanced data recently. However, through our theoretical analysis, we find that for long-tailed data, it fails to form a regular simplex which is an ideal geometric configuration for representation learning. To correct the optimization behavior of SCL and further improve the performance of long-tailed visual recognition, we propose a novel loss for balanced contrastive learning (BCL). Compared with SCL, we have two improvements in BCL: class-averaging, which balances the gradient contribution of negative classes; class-complement, which allows all classes to appear in every mini-batch. The proposed balanced contrastive learning (BCL) method satisfies the condition of forming a regular simplex and assists the optimization of cross-entropy. Equipped with BCL, the proposed two-branch framework can obtain a stronger feature representation and achieve competitive performance on long-tailed benchmark datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist2018. Our code is available at https://github.com/FlamieZhu/BCL .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google