Generalised Mutual Information: a Framework for Discriminative Clustering

要約

過去 10 年間のディープ クラスタリングにおける最近の成功には、正則化を増大させながらニューラル ネットワークをトレーニングする教師なしの目的として相互情報 (MI) が主に含まれていました。
正則化の品質については改善のために主に議論されてきましたが、クラスタリングの目的としての MI の関連性についてはほとんど注目されていません。
この論文では、まず、MI の最大化がどのようにしてクラスターを満足させることができないのかを強調します。
私たちは、カルバックとライブラーの相違がこの動作の主な理由であることを特定しました。
したがって、コア距離を変更することで相互情報量を一般化し、教師なしニューラル ネットワーク トレーニング用のメトリクスのセットである一般化相互情報量 (GEMINI) を導入します。
MI とは異なり、一部の GEMINI はデータ空間内の距離またはカーネルのおかげでジオメトリを認識するため、トレーニング時に正則化を必要としません。
最後に、GEMINI が適切な数のクラスターを自動的に選択できることを強調します。この特性は、クラスターの数が事前に不明である深層判別クラスタリングのコンテキストではほとんど研究されていません。

要約(オリジナル)

In the last decade, recent successes in deep clustering majorly involved the Mutual Information (MI) as an unsupervised objective for training neural networks with increasing regularisations. While the quality of the regularisations have been largely discussed for improvements, little attention has been dedicated to the relevance of MI as a clustering objective. In this paper, we first highlight how the maximisation of MI does not lead to satisfying clusters. We identified the Kullback-Leibler divergence as the main reason of this behaviour. Hence, we generalise the mutual information by changing its core distance, introducing the Generalised Mutual Information (GEMINI): a set of metrics for unsupervised neural network training. Unlike MI, some GEMINIs do not require regularisations when training as they are geometry-aware thanks to distances or kernels in the data space. Finally, we highlight that GEMINIs can automatically select a relevant number of clusters, a property that has been little studied in deep discriminative clustering context where the number of clusters is a priori unknown.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google