Global and Local Mixture Consistency Cumulative Learning for Long-tailed Visual Recognitions

要約

この論文では、私たちの目標は、ロングテール視覚認識のためのシンプルな学習パラダイムを設計することです。これにより、特徴抽出器の堅牢性が向上するだけでなく、トレーニング スキルとオーバーヘッドを削減しながら、ヘッド クラスに対する分類器のバイアスが軽減されます。
我々は、グローバルおよびローカル混合一貫性累積学習 (GLMC) と呼ばれる、ロングテール視覚認識のための効率的な 1 段階トレーニング戦略を提案します。
私たちの核となるアイデアは 2 つあります。(1) グローバルおよびローカルの混合一貫性の損失により、特徴抽出器の堅牢性が向上します。
具体的には、同じバッチ データからグローバル MixUp とローカル CutMix によってそれぞれ 2 つの拡張バッチを生成し、コサイン類似度を使用して差異を最小限に抑えます。
(2) 累積的なヘッド テール ソフト ラベルの再重み付け損失により、ヘッド クラスのバイアス問題が軽減されます。
経験的なクラス周波数を使用して、ロングテール データのヘッドテール クラスの混合ラベルを再重み付けし、エポックごとに累積された係数を使用して従来の損失と再バランスされた損失のバランスを取ります。
私たちのアプローチは、CIFAR10-LT、CIFAR100-LT、ImageNet-LT データセットで最先端の精度を実現します。
バランスの取れた ImageNet と CIFAR に関する追加の実験により、GLMC がバックボーンの一般化を大幅に改善できることが実証されました。
コードは https://github.com/ynu-yangpeng/GLMC で公開されています。

要約(オリジナル)

In this paper, our goal is to design a simple learning paradigm for long-tail visual recognition, which not only improves the robustness of the feature extractor but also alleviates the bias of the classifier towards head classes while reducing the training skills and overhead. We propose an efficient one-stage training strategy for long-tailed visual recognition called Global and Local Mixture Consistency cumulative learning (GLMC). Our core ideas are twofold: (1) a global and local mixture consistency loss improves the robustness of the feature extractor. Specifically, we generate two augmented batches by the global MixUp and local CutMix from the same batch data, respectively, and then use cosine similarity to minimize the difference. (2) A cumulative head tail soft label reweighted loss mitigates the head class bias problem. We use empirical class frequencies to reweight the mixed label of the head-tail class for long-tailed data and then balance the conventional loss and the rebalanced loss with a coefficient accumulated by epochs. Our approach achieves state-of-the-art accuracy on CIFAR10-LT, CIFAR100-LT, and ImageNet-LT datasets. Additional experiments on balanced ImageNet and CIFAR demonstrate that GLMC can significantly improve the generalization of backbones. Code is made publicly available at https://github.com/ynu-yangpeng/GLMC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google