Contrastive Learning with Orthonormal Anchors (CLOA)

要約

この研究は、対照学習で蔓延する不安定性の問題に対処することに焦点を当てており、特に InfoNCE 損失関数とその導関数を調べています。
これらの損失関数が制限的な動作を示し、埋め込みが特異点に融合する傾向があるという収束現象を引き起こすという重要な観察結果を明らかにしました。
この「過剰融合」効果は、後続の教師あり学習タスクの分類精度に悪影響を及ぼします。
理論的な分析を通じて、埋め込みがランク 1 の線形部分空間に等化または制限された場合、InfoNCE の局所最小値を表すことを示します。
この課題に対応するため、私たちの研究では、微調整フェーズで通常使用されるものと同じかそれよりも少ないラベル付きデータを活用する革新的な戦略を導入しています。
私たちが提案した損失である正規直交アンカー回帰損失は、エンベディング クラスターを解きほぐすように設計されており、各エンベディングの独自性を大幅に強化すると同時に、高密度で明確に定義されたクラスターへの集約を保証します。
CIFAR10 および CIFAR100 データセットの結果から明らかなように、私たちの方法は、従来のラベル要件のほんの一部で顕著な改善を示しています。

要約(オリジナル)

This study focuses on addressing the instability issues prevalent in contrastive learning, specifically examining the InfoNCE loss function and its derivatives. We reveal a critical observation that these loss functions exhibit a restrictive behavior, leading to a convergence phenomenon where embeddings tend to merge into a singular point. This ‘over-fusion’ effect detrimentally affects classification accuracy in subsequent supervised-learning tasks. Through theoretical analysis, we demonstrate that embeddings, when equalized or confined to a rank-1 linear subspace, represent a local minimum for InfoNCE. In response to this challenge, our research introduces an innovative strategy that leverages the same or fewer labeled data than typically used in the fine-tuning phase. The loss we proposed, Orthonormal Anchor Regression Loss, is designed to disentangle embedding clusters, significantly enhancing the distinctiveness of each embedding while simultaneously ensuring their aggregation into dense, well-defined clusters. Our method demonstrates remarkable improvements with just a fraction of the conventional label requirements, as evidenced by our results on CIFAR10 and CIFAR100 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google