Towards the Sparseness of Projection Head in Self-Supervised Learning

要約

近年、自己教師あり学習 (SSL) が、ラベルのないデータから貴重な表現を抽出するための有望なアプローチとして浮上しています。
成功した SSL 手法の 1 つは対照学習です。これは、否定的な例を遠ざけながら、肯定的な例を近づけることを目的としています。
現在の対比学習アプローチの多くは、パラメーター化された投影ヘッドを利用しています。
実証的分析と理論的調査を組み合わせることにより、投影ヘッドの内部メカニズムと寸法崩壊現象との関係についての洞察を提供します。
私たちの調査結果は、投影ヘッドが投影された部分空間でコントラストの損失を実行することによって表現の品質を向上させることを示しています。
したがって、データのミニバッチのコントラスト損失を最小限に抑える場合、特徴のサブセットのみが必要であるという仮定を提案します。
理論分析はさらに、スパース投影ヘッドが一般化を強化できることを示唆しており、SparseHead の導入につながりました。これは、投影ヘッドのスパース性を効果的に制限し、任意の自己教師あり学習 (SSL) アプローチとシームレスに統合できる正則化項です。
私たちの実験結果は SparseHead の有効性を検証し、既存の対照的な手法のパフォーマンスを向上させる SparseHead の能力を実証しています。

要約(オリジナル)

In recent years, self-supervised learning (SSL) has emerged as a promising approach for extracting valuable representations from unlabeled data. One successful SSL method is contrastive learning, which aims to bring positive examples closer while pushing negative examples apart. Many current contrastive learning approaches utilize a parameterized projection head. Through a combination of empirical analysis and theoretical investigation, we provide insights into the internal mechanisms of the projection head and its relationship with the phenomenon of dimensional collapse. Our findings demonstrate that the projection head enhances the quality of representations by performing contrastive loss in a projected subspace. Therefore, we propose an assumption that only a subset of features is necessary when minimizing the contrastive loss of a mini-batch of data. Theoretical analysis further suggests that a sparse projection head can enhance generalization, leading us to introduce SparseHead – a regularization term that effectively constrains the sparsity of the projection head, and can be seamlessly integrated with any self-supervised learning (SSL) approaches. Our experimental results validate the effectiveness of SparseHead, demonstrating its ability to improve the performance of existing contrastive methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google