An Asymmetric Contrastive Loss for Handling Imbalanced Datasets

要約

対照学習は、サンプルを他の同様のサンプルと対比して、それらを密接にまとめ、特徴空間にクラスターを形成することによって実行される表現学習方法です。
学習プロセスは通常、2段階のトレーニングアーキテクチャを使用して実行され、特徴学習にコントラスト損失（CL）を利用します。
対照学習は、不均衡なデータセットの処理に非常に成功することが示されています。このデータセットでは、一部のクラスが過小評価され、他のクラスは過小評価されています。
ただし、以前の研究では、不均衡なデータセットのCLを具体的に変更していません。
この作業では、クラスの不均衡の問題に直接対処するために、ACLと呼ばれる非対称バージョンのCLを紹介します。
さらに、ACLと焦点コントラスト損失（FCL）の両方のさらなる一般化として、非対称焦点コントラスト損失（AFCL）を提案します。
FMNISTおよびISIC2018の不均衡なデータセットの結果は、AFCLが加重および非加重の両方の分類精度の点でCLおよびFCLを上回ることができることを示しています。
付録では、完全な証明とともに、エントロピーに関する完全な公理的処理を提供します。

要約(オリジナル)

Contrastive learning is a representation learning method performed by contrasting a sample to other similar samples so that they are brought closely together, forming clusters in the feature space. The learning process is typically conducted using a two-stage training architecture, and it utilizes the contrastive loss (CL) for its feature learning. Contrastive learning has been shown to be quite successful in handling imbalanced datasets, in which some classes are overrepresented while some others are underrepresented. However, previous studies have not specifically modified CL for imbalanced datasets. In this work, we introduce an asymmetric version of CL, referred to as ACL, in order to directly address the problem of class imbalance. In addition, we propose the asymmetric focal contrastive loss (AFCL) as a further generalization of both ACL and focal contrastive loss (FCL). Results on the FMNIST and ISIC 2018 imbalanced datasets show that AFCL is capable of outperforming CL and FCL in terms of both weighted and unweighted classification accuracies. In the appendix, we provide a full axiomatic treatment on entropy, along with complete proofs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google