SINCERE: Supervised Information Noise-Contrastive Estimation REvisited

要約

情報ノイズ対比推定 (InfoNCE) 損失関数は、その強力な経験的結果と理論的動機により、多くの自己教師あり深層学習手法の基礎を提供します。
以前の研究では、InfoNCE を拡張して利用可能なクラス ラベルから学習するための教師あり対比 (SupCon) 損失を提案しています。
この SupCon 損失は、良好な経験的パフォーマンスが報告されているため、広く使用されています。
しかし、この研究では、学習された埋め込み空間で同じクラスのいくつかの画像が互いに反発することを促す可能性があるため、以前の SupCon 損失定式化には正当性が疑わしいことがわかりました。
この問題のあるクラス内反発は、1 つのクラス ラベルを共有する画像の数が増加するにつれて悪化します。
私たちは、クラス内反発を排除する理論的に正当化された InfoNCE の教師あり拡張として、教師あり InfoNCE REvisited (SINCERE) 損失を提案します。
実験によれば、SINCERE により、さまざまなクラスからの埋め込みがより適切に分離され、転移学習の分類精度が向上することがわかりました。
さらに、確率的モデリングを利用して、ターゲット クラスと他のすべてのクラスのデータ生成分布間の対称化された KL 発散に SINCERE 損失を関連付ける情報理論的限界を導き出します。

要約(オリジナル)

The information noise-contrastive estimation (InfoNCE) loss function provides the basis of many self-supervised deep learning methods due to its strong empirical results and theoretic motivation. Previous work suggests a supervised contrastive (SupCon) loss to extend InfoNCE to learn from available class labels. This SupCon loss has been widely-used due to reports of good empirical performance. However, in this work we find that the prior SupCon loss formulation has questionable justification because it can encourage some images from the same class to repel one another in the learned embedding space. This problematic intra-class repulsion gets worse as the number of images sharing one class label increases. We propose the Supervised InfoNCE REvisited (SINCERE) loss as a theoretically-justified supervised extension of InfoNCE that eliminates intra-class repulsion. Experiments show that SINCERE leads to better separation of embeddings from different classes and improves transfer learning classification accuracy. We additionally utilize probabilistic modeling to derive an information-theoretic bound that relates SINCERE loss to the symmeterized KL divergence between data-generating distributions for a target class and all other classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google