The cluster structure function

要約

データセットを特定の数の部分に分割するたびに、すべての部分が可能な限りその部分のデータの適切なモデル (「アルゴリズムの十分な統計」) になるような分割があります。
これは 1 からデータ数までのすべての数に対して実行できるため、結果は関数、クラスター構造関数になります。
パーティションのパーツの数を、パーツごとに適切なモデルであるという欠陥に関連する値にマッピングします。
このような関数は、データセットを分割しない場合は少なくともゼロの値で始まり、データセットをシングルトン部分に分割する場合はゼロまで下降します。
最適なクラスタリングは、クラスター構造関数を最小化するために選択されたものです。
この方法の背後にある理論は、アルゴリズム情報理論 (コルモゴロフ複雑度) で表現されます。
実際には、関連するコルモゴロフの複雑さは、コンクリート コンプレッサーによって近似されます。
実際のデータセットを使用した例を示します: 幹細胞研究で使用される MNIST 手書きの数字と実際の細胞のセグメンテーション。

要約(オリジナル)

For each partition of a data set into a given number of parts there is a partition such that every part is as much as possible a good model (an ‘algorithmic sufficient statistic’) for the data in that part. Since this can be done for every number between one and the number of data, the result is a function, the cluster structure function. It maps the number of parts of a partition to values related to the deficiencies of being good models by the parts. Such a function starts with a value at least zero for no partition of the data set and descents to zero for the partition of the data set into singleton parts. The optimal clustering is the one chosen to minimize the cluster structure function. The theory behind the method is expressed in algorithmic information theory (Kolmogorov complexity). In practice the Kolmogorov complexities involved are approximated by a concrete compressor. We give examples using real data sets: the MNIST handwritten digits and the segmentation of real cells as used in stem cell research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google