Implicit variance regularization in non-contrastive SSL

要約

BYOL や SimSiam などの非対照的な SSL 手法は、非対称予測子ネットワークに依存して、負のサンプルなしで表現の崩壊を回避します。
しかし、予測ネットワークがどのようにして安定した学習を促進するのかは完全には理解されていません。
以前の理論分析ではユークリッド損失が想定されていましたが、実際の実装のほとんどはコサイン類似性に依存しています。
非対比 SSL についてさらに理論的な洞察を得るために、閉形式線形予測子ネットワークの固有空間におけるユークリッドおよびコサイン類似度と組み合わせた学習ダイナミクスを分析的に研究します。
両方とも、異なる動的メカニズムを通じてではあるが、暗黙の分散正則化を通じて崩壊を回避することを示します。
さらに、固有値が効果的な学習率乗数として機能することを発見し、固有モード全体で収束率を等化する等方性損失関数 (IsoLoss) のファミリーを提案します。
経験的に、IsoLoss は初期学習ダイナミクスを高速化し、堅牢性を向上させるため、非対照的な方法で通常使用される EMA ターゲット ネットワークを省略できます。
私たちの分析は、非対照 SSL の分散正則化メカニズムに光を当て、予測子のスペクトルの学習ダイナミクスを形作る新しい損失関数を作成するための理論的根拠を築きます。

要約(オリジナル)

Non-contrastive SSL methods like BYOL and SimSiam rely on asymmetric predictor networks to avoid representational collapse without negative samples. Yet, how predictor networks facilitate stable learning is not fully understood. While previous theoretical analyses assumed Euclidean losses, most practical implementations rely on cosine similarity. To gain further theoretical insight into non-contrastive SSL, we analytically study learning dynamics in conjunction with Euclidean and cosine similarity in the eigenspace of closed-form linear predictor networks. We show that both avoid collapse through implicit variance regularization albeit through different dynamical mechanisms. Moreover, we find that the eigenvalues act as effective learning rate multipliers and propose a family of isotropic loss functions (IsoLoss) that equalize convergence rates across eigenmodes. Empirically, IsoLoss speeds up the initial learning dynamics and increases robustness, thereby allowing us to dispense with the EMA target network typically used with non-contrastive methods. Our analysis sheds light on the variance regularization mechanisms of non-contrastive SSL and lays the theoretical grounds for crafting novel loss functions that shape the learning dynamics of the predictor’s spectrum.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google