FroSSL: Frobenius Norm Minimization for Self-Supervised Learning

要約

自己教師あり学習 (SSL) は、表現学習のパラダイムとしてますます人気が高まっています。
最近の手法は、サンプル対比、次元対比、または非対称ネットワーク ベースに分類でき、各ファミリーには情報崩壊を回避するための独自のアプローチがあります。
次元対比法はサンプル対比法と同様の解に収束しますが、一部の方法では収束するためにより多くのエポックのトレーニングが必要であることが経験的に示されています。
この溝を埋めることを動機として、埋め込み正規化までサンプル対比と次元対比の両方を行う目的関数 FroSSL を提示します。
FroSSL は、崩壊を回避するための共分散フロベニウス ノルムを最小限に抑え、拡張不変性のための平均二乗誤差を最小限に抑えることによって機能します。
我々は、FroSSL が他のさまざまな SSL メソッドよりも迅速に収束することを示し、この迅速な収束は FroSSL が埋め込み共分散行列の固有値にどのように影響するかによるものであるという理論的および経験的な裏付けを提供します。
また、CIFAR-10、CIFAR-100、STL-10、および ImageNet データセット上で ResNet18 をトレーニングするために使用された場合、FroSSL が線形プローブ評価の競合表現を学習することも示します。

要約(オリジナル)

Self-supervised learning (SSL) is an increasingly popular paradigm for representation learning. Recent methods can be classified as sample-contrastive, dimension-contrastive, or asymmetric network-based, with each family having its own approach to avoiding informational collapse. While dimension-contrastive methods converge to similar solutions as sample-contrastive methods, it can be empirically shown that some methods require more epochs of training to converge. Motivated by closing this divide, we present the objective function FroSSL which is both sample- and dimension-contrastive up to embedding normalization. FroSSL works by minimizing covariance Frobenius norms for avoiding collapse and minimizing mean-squared error for augmentation invariance. We show that FroSSL converges more quickly than a variety of other SSL methods and provide theoretical and empirical support that this faster convergence is due to how FroSSL affects the eigenvalues of the embedding covariance matrices. We also show that FroSSL learns competitive representations on linear probe evaluation when used to train a ResNet18 on the CIFAR-10, CIFAR-100, STL-10, and ImageNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google