Reverse Engineering Self-Supervised Learning

要約

自己教師あり学習 (SSL) は機械学習における強力なツールですが、学習された表現とその基礎となるメカニズムを理解することは依然として課題です。
このペーパーでは、多様なモデル、アーキテクチャ、ハイパーパラメータを含む、SSL でトレーニングされた表現の詳細な実証分析を示します。
私たちの研究は、SSL トレーニング プロセスの興味深い側面を明らかにしました。つまり、SSL トレーニング プロセスは本質的に意味ラベルに関するサンプルのクラスタリングを促進します。これは驚くべきことに SSL 目標の正則化項によって促進されます。
このクラスタリング プロセスは、下流の分類を強化するだけでなく、データ情報を圧縮します。
さらに、SSL でトレーニングされた表現は、ランダム クラスではなくセマンティック クラスとより密接に一致することを確立します。
注目すべきことに、学習された表現はさまざまな階層レベルにわたって意味クラスと一致しており、この一致はトレーニング中やネットワークの深部に進むにつれて増加することが示されています。
私たちの調査結果は、SSL の表現学習メカニズムと、それがさまざまなクラスのセットにわたるパフォーマンスに及ぼす影響についての貴重な洞察を提供します。

要約(オリジナル)

Self-supervised learning (SSL) is a powerful tool in machine learning, but understanding the learned representations and their underlying mechanisms remains a challenge. This paper presents an in-depth empirical analysis of SSL-trained representations, encompassing diverse models, architectures, and hyperparameters. Our study reveals an intriguing aspect of the SSL training process: it inherently facilitates the clustering of samples with respect to semantic labels, which is surprisingly driven by the SSL objective’s regularization term. This clustering process not only enhances downstream classification but also compresses the data information. Furthermore, we establish that SSL-trained representations align more closely with semantic classes rather than random classes. Remarkably, we show that learned representations align with semantic classes across various hierarchical levels, and this alignment increases during training and when moving deeper into the network. Our findings provide valuable insights into SSL’s representation learning mechanisms and their impact on performance across different sets of classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google