Understanding Difficult-to-learn Examples in Contrastive Learning: A Theoretical Framework for Spectral Contrastive Learning

要約

教師なし対照学習は近年著しい性能向上を示しており、様々なタスクにおいてしばしば教師あり学習に近づいたり、匹敵することさえある。しかし、その学習メカニズムは教師あり学習とは根本的に異なる。これまでの研究で、教師あり学習では不可欠な学習困難な例（教師あり学習では決定境界付近の例としてよく認識される）は、教師なし学習では最小限の寄与しかしないことが示されている。本論文では、驚くべきことに、学習困難な例を直接取り除くことで、サンプルサイズは減少するものの、対照学習の下流の分類性能が向上することを発見した。この理由を明らかにするために、我々は異なるサンプルペア間の類似性をモデル化する理論的枠組みを開発する。この理論的枠組みに導かれ、我々は徹底的な理論的分析を行い、学習困難なサンプルの存在が対照学習の汎化に悪影響を与えることを明らかにする。さらに、このような例を除去し、マージンチューニングや温度スケーリングなどの技術を用いることで、汎化境界を拡張し、それによって性能を向上させることができることを示す。経験的に、学習困難な例を選択するためのシンプルで効率的なメカニズムを提案し、前述の手法の有効性を検証することで、提案する理論的枠組みの信頼性を実証する。

要約(オリジナル)

Unsupervised contrastive learning has shown significant performance improvements in recent years, often approaching or even rivaling supervised learning in various tasks. However, its learning mechanism is fundamentally different from that of supervised learning. Previous works have shown that difficult-to-learn examples (well-recognized in supervised learning as examples around the decision boundary), which are essential in supervised learning, contribute minimally in unsupervised settings. In this paper, perhaps surprisingly, we find that the direct removal of difficult-to-learn examples, although reduces the sample size, can boost the downstream classification performance of contrastive learning. To uncover the reasons behind this, we develop a theoretical framework modeling the similarity between different pairs of samples. Guided by this theoretical framework, we conduct a thorough theoretical analysis revealing that the presence of difficult-to-learn examples negatively affects the generalization of contrastive learning. Furthermore, we demonstrate that the removal of these examples, and techniques such as margin tuning and temperature scaling can enhance its generalization bounds, thereby improving performance. Empirically, we propose a simple and efficient mechanism for selecting difficult-to-learn examples and validate the effectiveness of the aforementioned methods, which substantiates the reliability of our proposed theoretical framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL