DySTreSS: Dynamically Scaled Temperature in Self-Supervised Contrastive Learning

要約

SimCLR、MoCo などの現代の自己監視対比アルゴリズムでは、意味的に類似した 2 つのサンプル間の引力と、異なるクラスの 2 つのサンプル間の反発のバランスを取るタスクは、主にハード ネガティブ サンプルの存在によって影響を受けます。
InfoNCE 損失は硬度に基づいてペナルティを課すことが示されていますが、温度ハイパーパラメータはペナルティと均一性と許容差の間のトレードオフを調整する鍵となります。
この研究では、温度ハイパーパラメータ値の影響を研究することにより、SSL における InfoNCE 損失のパフォーマンスを向上させることに焦点を当てます。
特徴空間内のサンプルの分布を効果的に最適化するために、コサイン類似度に依存する温度スケーリング関数を提案します。
さらに均一性と許容誤差のメトリクスを分析して、コサイン類似度空間内の最適な領域を調査し、より適切な最適化を実現します。
さらに、温度の変化に応じて、事前トレーニング段階全体を通じて、特徴空間内のローカル構造とグローバル構造の挙動を包括的に検査します。
実験的証拠は、提案されたフレームワークが対照的な損失ベースの SSL アルゴリズムよりも優れているか、同等であることを示しています。
私たちは、SSL における温度スケーリングに関する私たちの研究 (DySTreSS) が、対照学習における将来の研究の基盤を提供すると信じています。

要約(オリジナル)

In contemporary self-supervised contrastive algorithms like SimCLR, MoCo, etc., the task of balancing attraction between two semantically similar samples and repulsion between two samples from different classes is primarily affected by the presence of hard negative samples. While the InfoNCE loss has been shown to impose penalties based on hardness, the temperature hyper-parameter is the key to regulating the penalties and the trade-off between uniformity and tolerance. In this work, we focus our attention to improve the performance of InfoNCE loss in SSL by studying the effect of temperature hyper-parameter values. We propose a cosine similarity-dependent temperature scaling function to effectively optimize the distribution of the samples in the feature space. We further analyze the uniformity and tolerance metrics to investigate the optimal regions in the cosine similarity space for better optimization. Additionally, we offer a comprehensive examination of the behavior of local and global structures in the feature space throughout the pre-training phase, as the temperature varies. Experimental evidence shows that the proposed framework outperforms or is at par with the contrastive loss-based SSL algorithms. We believe our work (DySTreSS) on temperature scaling in SSL provides a foundation for future research in contrastive learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google