Temperature-Free Loss Function for Contrastive Learning

要約

自己教師の学習における最も有望な方法の1つとして、対照学習は多くの分野で一連のブレークスルーを達成しました。
対照学習を実装する主なアプローチは、Infonceの損失を適用することです。ペア間の類似性をキャプチャすることにより、Infonceの損失により、データの表現を学習することができます。
その成功ではあるが、Infonceの損失を採用するには、温度を調整する必要があります。これは、類似性スコアを調整するためのコアハイパーパラメーターです。
いくつかの研究で強調されているパフォーマンスに対するその重要性と感度にもかかわらず、有効な温度を検索するには、広範な試行錯誤ベースの実験が必要であり、Infonceの損失を採用することの難しさが増加します。
この困難に対処するために、温度なしでinfonce損失を展開する新しい方法を提案します。
具体的には、温度スケーリングを逆双曲線の接線関数に置き換え、その結果、修正されたinfonce損失が発生します。
ハイパーパラメーターのない展開に加えて、提案された方法が対照学習のパフォーマンスの向上さえもたらすことさえ観察しました。
私たちの詳細な理論分析では、現在の温度スケーリングの実践が勾配降下に深刻な問題を引き起こすのに対し、私たちの方法は望ましい勾配特性を提供することを発見します。
提案された方法は、対照的な学習に関する5つのベンチマークで検証され、温度調整なしで満足のいく結果をもたらしました。

要約(オリジナル)

As one of the most promising methods in self-supervised learning, contrastive learning has achieved a series of breakthroughs across numerous fields. A predominant approach to implementing contrastive learning is applying InfoNCE loss: By capturing the similarities between pairs, InfoNCE loss enables learning the representation of data. Albeit its success, adopting InfoNCE loss requires tuning a temperature, which is a core hyperparameter for calibrating similarity scores. Despite its significance and sensitivity to performance being emphasized by several studies, searching for a valid temperature requires extensive trial-and-error-based experiments, which increases the difficulty of adopting InfoNCE loss. To address this difficulty, we propose a novel method to deploy InfoNCE loss without temperature. Specifically, we replace temperature scaling with the inverse hyperbolic tangent function, resulting in a modified InfoNCE loss. In addition to hyperparameter-free deployment, we observed that the proposed method even yielded a performance gain in contrastive learning. Our detailed theoretical analysis discovers that the current practice of temperature scaling in InfoNCE loss causes serious problems in gradient descent, whereas our method provides desirable gradient properties. The proposed method was validated on five benchmarks on contrastive learning, yielding satisfactory results without temperature tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google