On the duality between contrastive and non-contrastive self-supervised learning

要約

画像表現の自己監視学習における最近のアプローチは、さまざまな方法のファミリーに分類でき、特に、対照的アプローチと非対照的アプローチに分けることができます。
2つのファミリの違いは、新しいアプローチを動機付けるために徹底的に議論されていますが、私たちはそれらの間の理論的な類似性にさらに焦点を当てています。
代数的に関連付けることができ、限られた仮定の下で同等であることが示される対照的および非対照的な基準を設計することによって、それらの家族がどれほど近くなることができるかを示します。
さらに一般的な方法を研究し、それらのバリエーションを紹介して、この理論的結果を現在の慣行に関連付け、基準の設計選択が最適化プロセスとダウンストリームパフォーマンスにどのように影響するかを示します。
また、対照的手法と非対照的手法にはそれぞれ大きなバッチサイズと出力ディメンションが必要であるという一般的な仮定にも異議を唱えます。
私たちの理論的および定量的な結果は、特定のレジームにおける対照的方法と非対照的方法の間の数値的ギャップは、より良いネットワーク設計の選択とハイパーパラメーター調整を与えられれば大幅に減らすことができることを示唆しています。

要約(オリジナル)

Recent approaches in self-supervised learning of image representations can be categorized into different families of methods and, in particular, can be divided into contrastive and non-contrastive approaches. While differences between the two families have been thoroughly discussed to motivate new approaches, we focus more on the theoretical similarities between them. By designing contrastive and non-contrastive criteria that can be related algebraically and shown to be equivalent under limited assumptions, we show how close those families can be. We further study popular methods and introduce variations of them, allowing us to relate this theoretical result to current practices and show how design choices in the criterion can influence the optimization process and downstream performance. We also challenge the popular assumptions that contrastive and non-contrastive methods, respectively, need large batch sizes and output dimensions. Our theoretical and quantitative results suggest that the numerical gaps between contrastive and noncontrastive methods in certain regimes can be significantly reduced given better network design choice and hyperparameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google