Understanding and Improving the Role of Projection Head in Self-Supervised Learning

要約

自己教師あり学習 (SSL) は、人間がラベル付けしたデータ アノテーションにアクセスすることなく、有用な特徴表現を生成することを目的としています。
SimCLR などの対照的な学習に基づく最近の SSL 方式の成功により、この問題が一般的になってきました。
現在の対照的な学習アプローチのほとんどは、パラメーター化された投影ヘッドをバックボーン ネットワークの最後に追加して、InfoNCE 目標を最適化し、トレーニング後に学習した投影ヘッドを破棄します。
これは根本的な問題を提起します: トレーニング後に破棄する場合、学習可能なプロジェクション ヘッドが必要なのはなぜですか?
この作業では、最初にプロジェクション ヘッド層の役割に焦点を当てた SSL トレーニングの動作に関する体系的な研究を行います。
プロジェクション ヘッドをネットワークの一部ではなく、InfoNCE 目的のパラメトリック コンポーネントとして定式化することにより、対照的な学習ベースの SSL フレームワークをトレーニングするための代替最適化スキームを提示します。
複数の画像分類データセットに関する私たちの実験的研究は、SSL 文献の代替案に対する提案されたアプローチの有効性を示しています。

要約(オリジナル)

Self-supervised learning (SSL) aims to produce useful feature representations without access to any human-labeled data annotations. Due to the success of recent SSL methods based on contrastive learning, such as SimCLR, this problem has gained popularity. Most current contrastive learning approaches append a parametrized projection head to the end of some backbone network to optimize the InfoNCE objective and then discard the learned projection head after training. This raises a fundamental question: Why is a learnable projection head required if we are to discard it after training? In this work, we first perform a systematic study on the behavior of SSL training focusing on the role of the projection head layers. By formulating the projection head as a parametric component for the InfoNCE objective rather than a part of the network, we present an alternative optimization scheme for training contrastive learning based SSL frameworks. Our experimental study on multiple image classification datasets demonstrates the effectiveness of the proposed approach over alternatives in the SSL literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google