Contrastive Learning Is Spectral Clustering On Similarity Graph

要約

対照学習は強力な自己教師あり学習方法ですが、それがどのように機能するのか、またなぜ機能するのかについての理論的な理解は限られています。
この論文では、標準的な InfoNCE 損失を使用した対比学習が、類似度グラフ上のスペクトル クラスタリングと同等であることを証明します。
この等価性を構築ブロックとして使用して、分析を CLIP モデルに拡張し、類似したマルチモーダル オブジェクトがどのように一緒に埋め込まれているかを厳密に特徴付けます。
理論的な洞察に動機付けられ、いくつかの視覚データセットで標準のガウス カーネルを上回るカーネル関数の混合を組み込んだ Kernel-InfoNCE 損失を導入します。
コードは https://github.com/yifanzhang-pro/Kernel-InfoNCE で入手できます。

要約(オリジナル)

Contrastive learning is a powerful self-supervised learning method, but we have a limited theoretical understanding of how it works and why it works. In this paper, we prove that contrastive learning with the standard InfoNCE loss is equivalent to spectral clustering on the similarity graph. Using this equivalence as the building block, we extend our analysis to the CLIP model and rigorously characterize how similar multi-modal objects are embedded together. Motivated by our theoretical insights, we introduce the Kernel-InfoNCE loss, incorporating mixtures of kernel functions that outperform the standard Gaussian kernel on several vision datasets. The code is available at https://github.com/yifanzhang-pro/Kernel-InfoNCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google