Label-free Monitoring of Self-Supervised Learning Progress

要約

自己教師あり学習 (SSL) は、ラベルのないデータを活用して、さまざまな下流タスクに使用できる高レベルの埋め込み空間を学習するための効果的な方法です。
ただし、エンコーダーの品質を監視する既存の方法 (1 つのモデルのトレーニング中、または複数のトレーニング済みモデルの比較) は、依然として注釈付きデータへのアクセスに依存しています。
SSL 手法が新しいデータ ドメインに適用される場合、十分な大きさのラベル付きデータセットが常に利用できるとは限りません。
この研究では、ラベルなしデータの埋め込みに適用できるいくつかの評価メトリクスを提案し、それらを線形プローブ精度 (注釈付きデータセットを利用する一般的なメトリクス) と比較することによってその実行可能性を調査します。
特に、$k$-means クラスタリングを適用し、シルエット スコアとクラスタリング一致度を使用してクラスタリングの品質を測定します。
また、埋め込み分布のエントロピーも測定します。
ネットワークのトレーニングが進むにつれて、クラスターはグラウンド トゥルース アノテーションとより良く対応する一方で、ラベルフリー クラスタリング メトリクスは、SSL メソッド SimCLR および MoCo-v2 でトレーニングした場合にのみ線形プローブ精度と相関し、SimSiam では相関しなかったことがわかりました。
さらに、エントロピーは常に LP 精度と強い相関関係を持っているわけではありませんが、これは初期のトレーニングから生じる不安定性によるものと考えられ、学習の後期段階ではメトリクスが安定し、信頼性が高まります。
さらに、エントロピーは一般に学習が進むにつれて減少しますが、SimSiam ではこの傾向が逆転します。
この予期しない動作の原因を確立するには、さらなる研究が必要です。
最後に、クラスタリング ベースのアプローチはおそらく同じアーキテクチャの比較でのみ実行可能ですが、エントロピーはアーキテクチャに依存しない可能性があることがわかりました。

要約(オリジナル)

Self-supervised learning (SSL) is an effective method for exploiting unlabelled data to learn a high-level embedding space that can be used for various downstream tasks. However, existing methods to monitor the quality of the encoder — either during training for one model or to compare several trained models — still rely on access to annotated data. When SSL methodologies are applied to new data domains, a sufficiently large labelled dataset may not always be available. In this study, we propose several evaluation metrics which can be applied on the embeddings of unlabelled data and investigate their viability by comparing them to linear probe accuracy (a common metric which utilizes an annotated dataset). In particular, we apply $k$-means clustering and measure the clustering quality with the silhouette score and clustering agreement. We also measure the entropy of the embedding distribution. We find that while the clusters did correspond better to the ground truth annotations as training of the network progressed, label-free clustering metrics correlated with the linear probe accuracy only when training with SSL methods SimCLR and MoCo-v2, but not with SimSiam. Additionally, although entropy did not always have strong correlations with LP accuracy, this appears to be due to instability arising from early training, with the metric stabilizing and becoming more reliable at later stages of learning. Furthermore, while entropy generally decreases as learning progresses, this trend reverses for SimSiam. More research is required to establish the cause for this unexpected behaviour. Lastly, we find that while clustering based approaches are likely only viable for same-architecture comparisons, entropy may be architecture-independent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google