Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition

要約

ディープニューラルネットワークは、クラスが大きく不均衡なデータセットではパフォーマンスが低下します。
対照学習の有望なパフォーマンスを考慮して、不均衡な認識に取り組むために、リバランスされたシャムの対照マイニング（ResCom）を提案します。
数学的分析とシミュレーション結果に基づいて、監視された対照学習は、元のバッチレベルとシャムバッチレベルの両方で二重のクラス不均衡の問題を抱えていると主張します。これは、ロングテール分類学習よりも深刻です。
この論文では、元のバッチレベルで、クラスバランスのとれた監視された対照損失を導入して、さまざまなクラスに適応重みを割り当てます。
シャムバッチレベルでは、すべてのクラスで同じ数のキーを維持するクラスバランスキューを提示します。
さらに、対照的なロジットに関する不均衡な対照的な損失勾配は、正と負に分離することができ、簡単な正と簡単な負は、対照的な勾配を消滅させることに注意してください。
対照的な計算のために有益なペアをピックアップし、表現学習を改善するために、教師ありハードポジティブおよびネガティブペアマイニングを提案します。
最後に、2つのビュー間の相互情報量をほぼ最大化するために、Siamese Balanced Softmaxを提案し、それを1段階のトレーニングの対照的な損失と結合します。
広範な実験により、ResComは、複数のロングテール認識ベンチマークで以前の方法を大幅に上回っています。
私たちのコードとモデルは、https：//github.com/dvlab-research/ResComで公開されています。

要約(オリジナル)

Deep neural networks perform poorly on heavily class-imbalanced datasets. Given the promising performance of contrastive learning, we propose Rebalanced Siamese Contrastive Mining (ResCom) to tackle imbalanced recognition. Based on the mathematical analysis and simulation results, we claim that supervised contrastive learning suffers a dual class-imbalance problem at both the original batch and Siamese batch levels, which is more serious than long-tailed classification learning. In this paper, at the original batch level, we introduce a class-balanced supervised contrastive loss to assign adaptive weights for different classes. At the Siamese batch level, we present a class-balanced queue, which maintains the same number of keys for all classes. Furthermore, we note that the imbalanced contrastive loss gradient with respect to the contrastive logits can be decoupled into the positives and negatives, and easy positives and easy negatives will make the contrastive gradient vanish. We propose supervised hard positive and negative pairs mining to pick up informative pairs for contrastive computation and improve representation learning. Finally, to approximately maximize the mutual information between the two views, we propose Siamese Balanced Softmax and joint it with the contrastive loss for one-stage training. Extensive experiments demonstrate that ResCom outperforms the previous methods by large margins on multiple long-tailed recognition benchmarks. Our code and models are made publicly available at: https://github.com/dvlab-research/ResCom.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google