Dynamically Scaled Temperature in Self-Supervised Contrastive Learning

要約

SimCLR、MoCo などの現代の自己監視対比アルゴリズムでは、意味的に類似した 2 つのサンプル間の引力と、異なるクラスの 2 つのサンプル間の反発のバランスを取るタスクは、主にハード ネガティブ サンプルの存在によって影響を受けます。
InfoNCE 損失は硬度に基づいてペナルティを課すことが示されていますが、温度ハイパーパラメータはペナルティと均一性と許容差の間のトレードオフを調整する鍵となります。
この研究では、特徴空間内のサンプルの分布を効果的に最適化する新しいコサイン類似度依存温度スケーリング関数を提案することにより、自己教師あり学習における InfoNCE 損失のパフォーマンスを向上させることに焦点を当てています。
また、このような動的にスケーリングされる温度関数の構築をサポートする数学的分析も提供します。
実験による証拠は、提案されたフレームワークが対照的な損失ベースの SSL アルゴリズムよりも優れていることを示しています。

要約(オリジナル)

In contemporary self-supervised contrastive algorithms like SimCLR, MoCo, etc., the task of balancing attraction between two semantically similar samples and repulsion between two samples of different classes is primarily affected by the presence of hard negative samples. While the InfoNCE loss has been shown to impose penalties based on hardness, the temperature hyper-parameter is the key to regulating the penalties and the trade-off between uniformity and tolerance. In this work, we focus our attention on improving the performance of InfoNCE loss in self-supervised learning by proposing a novel cosine similarity dependent temperature scaling function to effectively optimize the distribution of the samples in the feature space. We also provide mathematical analyses to support the construction of such a dynamically scaled temperature function. Experimental evidence shows that the proposed framework outperforms the contrastive loss-based SSL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google