SINCERE: Supervised Information Noise-Contrastive Estimation REvisited

要約

情報ノイズ対比推定 (InfoNCE) 損失関数は、その強力な経験的結果と理論的動機により、多くの自己教師あり深層学習手法の基礎を提供します。
以前の研究では、InfoNCE を拡張して利用可能なクラス ラベルから学習するための教師あり対比 (SupCon) 損失を提案しています。
この SupCon 損失は、良好な経験的パフォーマンスが報告されているため、広く使用されています。
しかし、この研究では、学習された埋め込み空間で同じクラスの画像が互いに反発することを促す可能性があるため、以前の研究で定式化された特定の SupCon 損失には理論的根拠に疑問があることを示唆しています。
この問題のある動作は、1 つのクラス ラベルを共有する入力の数が増加するにつれて悪化します。
私たちは、救済策として Supervised InfoNCE REvisited (SINCERE) 損失を提案します。
SINCERE は、同じクラスの画像が互いに反発することのない、InfoNCE の教師あり拡張機能に対する理論的に正当なソリューションです。
さらに、新しい損失を最小化することは、クラス条件付き埋め込み分布間の KL 発散の限界を最大化することと同等であることを示します。
事前トレーニング中の学習軌跡と、微調整後の最終的な線形分類器のパフォーマンスの観点から、SINCERE 損失と SupCon 損失を比較します。
私たちが提案する SINCERE 損失は、事前トレーニング中にエンベディングをさまざまなクラスからより適切に分離しながら、競争力のある精度を実現します。

要約(オリジナル)

The information noise-contrastive estimation (InfoNCE) loss function provides the basis of many self-supervised deep learning methods due to its strong empirical results and theoretic motivation. Previous work suggests a supervised contrastive (SupCon) loss to extend InfoNCE to learn from available class labels. This SupCon loss has been widely-used due to reports of good empirical performance. However, in this work we suggest that the specific SupCon loss formulated by prior work has questionable theoretic justification, because it can encourage images from the same class to repel one another in the learned embedding space. This problematic behavior gets worse as the number of inputs sharing one class label increases. We propose the Supervised InfoNCE REvisited (SINCERE) loss as a remedy. SINCERE is a theoretically justified solution for a supervised extension of InfoNCE that never causes images from the same class to repel one another. We further show that minimizing our new loss is equivalent to maximizing a bound on the KL divergence between class conditional embedding distributions. We compare SINCERE and SupCon losses in terms of learning trajectories during pretraining and in ultimate linear classifier performance after finetuning. Our proposed SINCERE loss better separates embeddings from different classes during pretraining while delivering competitive accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google