Contrastive Learning Via Equivariant Representation

要約

不変対照学習 (ICL) 手法は、さまざまなドメインにわたって優れたパフォーマンスを達成しました。
ただし、潜在空間内の歪み (拡張) 関連情報の潜在空間表現が欠如しているため、ICL は下流タスクでのトレーニング効率とロバスト性に関して最適ではありません。
最近の研究では、対照学習 (CL) に等分散性を導入すると、全体的なパフォーマンスが向上する可能性があることが示唆されています。
この論文では、CL の有効性向上における増強戦略と等分散の役割を再検討します。
我々は、さまざまな主流のCLバックボーンモデルに対する任意の複雑さの拡張戦略と互換性のある新しい等変対比学習フレームワークであるCLeVER（等変表現による対比学習）を提案します。
実験結果は、CLeVER が実用的な自然画像から等変情報を効果的に抽出して組み込むことで、下流タスクにおけるベースライン モデルのトレーニング効率と堅牢性を向上させ、最先端 (SOTA) パフォーマンスを達成できることを示しています。
さらに、CLeVER によって抽出された等変情報を活用すると、実験タスク全体での回転不変性と感度が同時に強化され、特に小規模なバックボーンを持つモデルの場合、複雑な拡張を処理するときにフレームワークの安定化に役立つことがわかりました。

要約(オリジナル)

Invariant Contrastive Learning (ICL) methods have achieved impressive performance across various domains. However, the absence of latent space representation for distortion (augmentation)-related information in the latent space makes ICL sub-optimal regarding training efficiency and robustness in downstream tasks. Recent studies suggest that introducing equivariance into Contrastive Learning (CL) can improve overall performance. In this paper, we revisit the roles of augmentation strategies and equivariance in improving CL’s efficacy. We propose CLeVER (Contrastive Learning Via Equivariant Representation), a novel equivariant contrastive learning framework compatible with augmentation strategies of arbitrary complexity for various mainstream CL backbone models. Experimental results demonstrate that CLeVER effectively extracts and incorporates equivariant information from practical natural images, thereby improving the training efficiency and robustness of baseline models in downstream tasks and achieving state-of-the-art (SOTA) performance. Moreover, we find that leveraging equivariant information extracted by CLeVER simultaneously enhances rotational invariance and sensitivity across experimental tasks, and helps stabilize the framework when handling complex augmentations, particularly for models with small-scale backbones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google