Center Contrastive Loss for Metric Learning

要約

対照学習は、計量学習において主に研究されるトピックです。
ただし、限られたバッチサイズ、不均衡なデータ分布、過剰適合のリスクなどの要因により、効果的な対照ペアをサンプリングすることは依然として課題です。
この論文では、中心対照損失と呼ばれる新しい計量学習関数を提案します。この関数は、クラスごとのセンターバンクを維持し、対照損失を使用してカテゴリ中心をクエリデータポイントと比較します。
センターバンクはリアルタイムで更新され、適切に設計されたサンプルマイニングを必要とせずにモデルの収束を促進します。
カテゴリ センターは、各クラスの監視信号のバランスを再調整するために適切に最適化された分類プロキシです。
さらに、提案された損失は、クラス内の変動を削減し、クラス間の差異を強化して埋め込みの識別力を向上させることにより、対比法と分類法の両方の利点を組み合わせています。
図 1 に示す実験結果は、損失を使用してトレーニングされた標準ネットワーク (ResNet50) が最先端のパフォーマンスと高速な収束を達成することを示しています。

要約(オリジナル)

Contrastive learning is a major studied topic in metric learning. However, sampling effective contrastive pairs remains a challenge due to factors such as limited batch size, imbalanced data distribution, and the risk of overfitting. In this paper, we propose a novel metric learning function called Center Contrastive Loss, which maintains a class-wise center bank and compares the category centers with the query data points using a contrastive loss. The center bank is updated in real-time to boost model convergence without the need for well-designed sample mining. The category centers are well-optimized classification proxies to re-balance the supervisory signal of each class. Furthermore, the proposed loss combines the advantages of both contrastive and classification methods by reducing intra-class variations and enhancing inter-class differences to improve the discriminative power of embeddings. Our experimental results, as shown in Figure 1, demonstrate that a standard network (ResNet50) trained with our loss achieves state-of-the-art performance and faster convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google