Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods

要約

自己監視学習（SSL）は、入力とペアワイズの正の関係が意味のある表現を学習するのに十分であると推測します。
SSLは最近マイルストーンに到達しましたが、多くのモダリティ\ドットで監視ありメソッドを上回っています。理論的基盤は限られており、メソッド固有であり、実践者に原則的な設計ガイドラインを提供できません。
この論文では、これらの制限に対処するために、スペクトル多様体学習の舵取りの下で統一フレームワークを提案します。
この調査の過程で、VICReg、SimCLR、BarlowTwinsetal。
ラプラシアン固有マップ、多次元尺度構成法などの同名のスペクトル法に対応します。
この統合により、（i）各方法の閉形式の最適表現、（ii）各方法の線形レジームにおける閉形式の最適ネットワークパラメーター、（iii）の間に使用されるペアワイズ関係の影響を取得できます。
これらの量のそれぞれと下流のタスクパフォ​​ーマンスに関するトレーニング、そして最も重要なことは、（iv）それぞれの利点と制限を示唆するグローバルおよびローカルスペクトル埋め込み法に向けた対照的方法と非対照的方法の間の最初の理論的橋渡しです。
たとえば、（i）ペアワイズ関係がダウンストリームタスクと整合している場合、任意のSSLメソッドを正常に使用でき、監視ありメソッドを回復しますが、データレジームが低い場合、VICRegの不変性ハイパーパラメータは高くする必要があります。
（ii）ペアワイズ関係がダウンストリームタスクとずれている場合は、SimCLRまたはBarlowTwinsよりも不変ハイパーパラメーターが小さいVICRegを優先する必要があります。

要約(オリジナル)

Self-Supervised Learning (SSL) surmises that inputs and pairwise positive relationships are enough to learn meaningful representations. Although SSL has recently reached a milestone: outperforming supervised methods in many modalities\dots the theoretical foundations are limited, method-specific, and fail to provide principled design guidelines to practitioners. In this paper, we propose a unifying framework under the helm of spectral manifold learning to address those limitations. Through the course of this study, we will rigorously demonstrate that VICReg, SimCLR, BarlowTwins et al. correspond to eponymous spectral methods such as Laplacian Eigenmaps, Multidimensional Scaling et al. This unification will then allow us to obtain (i) the closed-form optimal representation for each method, (ii) the closed-form optimal network parameters in the linear regime for each method, (iii) the impact of the pairwise relations used during training on each of those quantities and on downstream task performances, and most importantly, (iv) the first theoretical bridge between contrastive and non-contrastive methods towards global and local spectral embedding methods respectively, hinting at the benefits and limitations of each. For example, (i) if the pairwise relation is aligned with the downstream task, any SSL method can be employed successfully and will recover the supervised method, but in the low data regime, VICReg’s invariance hyper-parameter should be high; (ii) if the pairwise relation is misaligned with the downstream task, VICReg with small invariance hyper-parameter should be preferred over SimCLR or BarlowTwins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google