Unsupervised visualization of image datasets using contrastive learning

要約

t-SNE や UMAP などの最近傍グラフに基づく可視化手法は、高次元データの可視化に広く使用されています。
ただし、これらのアプローチは、最近傍自体が意味のある場合にのみ、意味のある結果を生成します。
ピクセル空間で表された画像の場合、これは当てはまりません。ピクセル空間での距離は、多くの場合、私たちの類似感を捉えていないため、隣人は意味的に近くありません。
この問題は、SimCLR などの対照学習に基づく自己教師ありアプローチによって回避できます。このアプローチでは、データ拡張に依存して暗黙的な近傍を生成しますが、これらの方法では視覚化に適した 2 次元の埋め込みは生成されません。
ここでは、画像データの教師なし視覚化のための t-SimCNE と呼ばれる新しい方法を紹介します。
T-SimCNE は、対照学習と近隣埋め込みからのアイデアを組み合わせて、高次元ピクセル空間から 2 次元へのパラメトリック マッピングをトレーニングします。
結果として得られる 2D 埋め込みが、最先端の高次元 SimCLR 表現に匹敵する分類精度を達成し、意味関係を忠実に捉えることを示します。
t-SimCNE を使用して、CIFAR-10 および CIFAR-100 データセットの有益な視覚化を取得し、豊富なクラスター構造を示し、アーティファクトと外れ値を強調表示します。

要約(オリジナル)

Visualization methods based on the nearest neighbor graph, such as t-SNE or UMAP, are widely used for visualizing high-dimensional data. Yet, these approaches only produce meaningful results if the nearest neighbors themselves are meaningful. For images represented in pixel space this is not the case, as distances in pixel space are often not capturing our sense of similarity and therefore neighbors are not semantically close. This problem can be circumvented by self-supervised approaches based on contrastive learning, such as SimCLR, relying on data augmentation to generate implicit neighbors, but these methods do not produce two-dimensional embeddings suitable for visualization. Here, we present a new method, called t-SimCNE, for unsupervised visualization of image data. T-SimCNE combines ideas from contrastive learning and neighbor embeddings, and trains a parametric mapping from the high-dimensional pixel space into two dimensions. We show that the resulting 2D embeddings achieve classification accuracy comparable to the state-of-the-art high-dimensional SimCLR representations, thus faithfully capturing semantic relationships. Using t-SimCNE, we obtain informative visualizations of the CIFAR-10 and CIFAR-100 datasets, showing rich cluster structure and highlighting artifacts and outliers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google