DeepVAT: A Self-Supervised Technique for Cluster Assessment in Image Datasets

要約

ラベルのない複雑な高次元データセット (画像など) 内のクラスターとクラスター構造の数を推定することは、従来のクラスタリング アルゴリズムにとって困難です。
近年、Visual Assessment of Tendency (VAT) と呼ばれる行列並べ替えベースのアルゴリズムとそのバリアントは、データ内に存在するクラスターの数と固有のクラスター構造を推定するために、さまざまな分野の多くの研究者を魅了しています。
ただし、これらのアルゴリズムは、画像に固有の重要な特徴を効果的にキャプチャできないため、画像データを扱う際に大きな課題に直面しています。
これらの制限を克服するために、複雑な画像データセット内のクラスター構造の評価を可能にする深層学習ベースのフレームワークを提案します。
私たちのアプローチでは、自己監視型ディープ ニューラル ネットワークを利用して、データの代表的な埋め込みを生成します。
これらの埋め込みは、t 分布確率的近傍埋め込み (t-SNE) を使用して 2 次元に縮小され、VAT ベースのアルゴリズムに入力されて、基礎となるクラスター構造が推定されます。
重要なのは、私たちのフレームワークはクラスターの数に関する事前の知識に依存していないことです。
私たちが提案したアプローチは、4 つのベンチマーク画像データセット、つまり MNIST、FMNIST、CIFAR-10、および INTEL に対して、最先端の VAT ファミリ アルゴリズムおよび他の 2 つのディープ クラスタリング アルゴリズムと比較して優れたパフォーマンスを示します。

要約(オリジナル)

Estimating the number of clusters and cluster structures in unlabeled, complex, and high-dimensional datasets (like images) is challenging for traditional clustering algorithms. In recent years, a matrix reordering-based algorithm called Visual Assessment of Tendency (VAT), and its variants have attracted many researchers from various domains to estimate the number of clusters and inherent cluster structure present in the data. However, these algorithms face significant challenges when dealing with image data as they fail to effectively capture the crucial features inherent in images. To overcome these limitations, we propose a deep-learning-based framework that enables the assessment of cluster structure in complex image datasets. Our approach utilizes a self-supervised deep neural network to generate representative embeddings for the data. These embeddings are then reduced to 2-dimension using t-distributed Stochastic Neighbour Embedding (t-SNE) and inputted into VAT based algorithms to estimate the underlying cluster structure. Importantly, our framework does not rely on any prior knowledge of the number of clusters. Our proposed approach demonstrates superior performance compared to state-of-the-art VAT family algorithms and two other deep clustering algorithms on four benchmark image datasets, namely MNIST, FMNIST, CIFAR-10, and INTEL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google