SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning

要約

私たちが提案する類似性直交性 (SimO) 損失を活用した、新しいアンカーフリー対比学習 (AFCL) 手法を紹介します。
私たちのアプローチは、2 つの重要な目的を同時に最適化するセミメトリック識別損失関数を最小化します。それは、類似した入力の埋め込み間の距離と直交性を削減すると同時に、異なる入力に対してこれらのメトリックを最大化し、よりきめの細かい対比学習を促進することです。
SimO 損失を活用した AFCL 手法は、埋め込み空間にファイバー束トポロジー構造を作成し、クラス固有の内部結合性がありながら直交する近傍を形成します。
CIFAR-10 データセットに対する手法の有効性を検証し、埋め込み空間に対する SimO 損失の影響を示す視覚化を提供します。
私たちの結果は、明確な直交クラス近傍の形成を示しており、クラス分離とクラス内変動性のバランスをとる、適切に構造化された埋め込みを作成するこのメソッドの能力を示しています。
この研究により、さまざまな機械学習タスクにおける学習された表現の幾何学的特性を理解して活用するための新しい道が開かれます。

要約(オリジナル)

We introduce a novel anchor-free contrastive learning (AFCL) method leveraging our proposed Similarity-Orthogonality (SimO) loss. Our approach minimizes a semi-metric discriminative loss function that simultaneously optimizes two key objectives: reducing the distance and orthogonality between embeddings of similar inputs while maximizing these metrics for dissimilar inputs, facilitating more fine-grained contrastive learning. The AFCL method, powered by SimO loss, creates a fiber bundle topological structure in the embedding space, forming class-specific, internally cohesive yet orthogonal neighborhoods. We validate the efficacy of our method on the CIFAR-10 dataset, providing visualizations that demonstrate the impact of SimO loss on the embedding space. Our results illustrate the formation of distinct, orthogonal class neighborhoods, showcasing the method’s ability to create well-structured embeddings that balance class separation with intra-class variability. This work opens new avenues for understanding and leveraging the geometric properties of learned representations in various machine learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google