An Empirical Study into Clustering of Unseen Datasets with Self-Supervised Encoders

要約

事前トレーニングされたモデルは、再トレーニングなしで新しいデータセットに一般化できますか?
事前トレーニング済みの画像モデルを、トレーニングされていないデータセットにデプロイし、その埋め込みが意味のあるクラスターを形成しているかどうかを調査します。
私たちの一連のベンチマーク実験では、教師ありまたは自己教師ありトレーニング手法を使用して ImageNet-1k のみで事前トレーニングされたエンコーダーを使用し、トレーニング中に表示されなかった画像データセットにデプロイされ、従来のクラスタリング アルゴリズムでクラスター化されています。
この評価により、教師ありモデルに対してさまざまな機能を優先する自己教師ありモデルの埋め込みに関する新たな洞察が得られます。
通常、教師ありエンコーダは、トレーニング ドメイン内では SSL エンコーダよりも多くのユーティリティを提供し、その逆も同様ですが、微調整されたエンコーダは逆の傾向を示します。
クラスタリングは、kNN などの既存の手法に直交する自己教師あり学習表現の有用性を評価する方法を提供します。
さらに、UMAP 縮小空間で測定されたシルエット スコアはクラスタリングのパフォーマンスと高い相関があるため、グラウンド トゥルース ラベルのないデータのクラスタリング パフォーマンスの代用として使用できることがわかりました。
私たちのコード実装は \url{https://github.com/scottclowe/zs-ssl-clustering/} で入手できます。

要約(オリジナル)

Can pretrained models generalize to new datasets without any retraining? We deploy pretrained image models on datasets they were not trained for, and investigate whether their embeddings form meaningful clusters. Our suite of benchmarking experiments use encoders pretrained solely on ImageNet-1k with either supervised or self-supervised training techniques, deployed on image datasets that were not seen during training, and clustered with conventional clustering algorithms. This evaluation provides new insights into the embeddings of self-supervised models, which prioritize different features to supervised models. Supervised encoders typically offer more utility than SSL encoders within the training domain, and vice-versa far outside of it, however, fine-tuned encoders demonstrate the opposite trend. Clustering provides a way to evaluate the utility of self-supervised learned representations orthogonal to existing methods such as kNN. Additionally, we find the silhouette score when measured in a UMAP-reduced space is highly correlated with clustering performance, and can therefore be used as a proxy for clustering performance on data with no ground truth labels. Our code implementation is available at \url{https://github.com/scottclowe/zs-ssl-clustering/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google