Joint Debiased Representation Learning and Imbalanced Data Clustering

要約

教師なし学習で最も有望なアプローチの一つは、深層表現学習と深層クラスタリングを組み合わせることである。最近のいくつかの研究では、ディープニューラルネットワークを用いた表現学習と、埋め込まれた特徴の上にクラスタリング損失を定義することによるクラスタリングの実行を同時に行うことが提案されている。しかし、これらのアプローチは、アンバランスなデータや分布外のサンプルに敏感である。その結果、これらの手法は、ランダムに初期化されたクラスタ中心にデータを近づけることでクラスタリングを最適化する。これは、クラスによってインスタンス数が大きく異なる場合や、サンプル数が少ないクラスタが良いセントロイドを割り当てられる可能性が低い場合に問題となる。これらの限界を克服するために、我々は、デビアス表現学習と画像クラスタリングを合同で行うための新しい教師なしフレームワークを導入する。データ分布を捉える深層表現ネットワークと、埋め込み特徴を学習しクラスタリングを行う深層クラスタリングネットワークの2つの深層学習モデルを同時に学習させる。具体的には、クラスタリングネットワークと学習表現ネットワークは共に、分布外のサンプルやクラスの不均衡を扱うために、平均、分散、カーディナリティを表現する我々の提案する統計プーリングブロックを活用する。我々の実験では、これらの表現を用いることで、様々な画像データセットにおいて、不均衡な画像クラスタリングの結果を大幅に改善できることが示された。さらに、学習された表現は、分布外データセットに転送してもうまく汎化される。

要約(オリジナル)

One of the most promising approaches for unsupervised learning is combining deep representation learning and deep clustering. Some recent works propose to simultaneously learn representation using deep neural networks and perform clustering by defining a clustering loss on top of embedded features. However, these approaches are sensitive to imbalanced data and out-of-distribution samples. As a consequence, these methods optimize clustering by pushing data close to randomly initialized cluster centers. This is problematic when the number of instances varies largely in different classes or a cluster with few samples has less chance to be assigned a good centroid. To overcome these limitations, we introduce a new unsupervised framework for joint debiased representation learning and image clustering. We simultaneously train two deep learning models, a deep representation network that captures the data distribution, and a deep clustering network that learns embedded features and performs clustering. Specifically, the clustering network and learning representation network both take advantage of our proposed statistics pooling block that represents mean, variance, and cardinality to handle the out-of-distribution samples and class imbalance. Our experiments show that using these representations, one can considerably improve results on imbalanced image clustering across a variety of image datasets. Moreover, the learned representations generalize well when transferred to the out-of-distribution dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL