Robust spectral clustering with rank statistics

要約

この論文では、ノイズの多いデータ行列における潜在構造回復のためのロバストなスペクトル クラスタリング法の統計的パフォーマンスを分析します。
生の元のデータ行列からエントリごとに導出されるノンパラメトリック ランク統計の行列に適用される固有ベクトル ベースのクラスタリングを検討します。
このアプローチは、従来のスペクトル クラスタリング手順とは異なり、観察されたデータ行列にヘビーテールのエントリが含まれ、不均一な分散プロファイルがある場合でも、集団レベルの潜在ブロック構造を証明できるという意味で堅牢です。
私たちの主な理論的貢献は 3 つあり、柔軟なデータ生成条件下でも維持されます。
まず、ランク統計を使用したロバストなスペクトル クラスタリングは、グラフ内のノードのコミュニティとして表示される潜在ブロック構造を一貫して復元できることを確立します。これは、ノードの消滅部分を除くすべての未観察のコミュニティ メンバーシップが高い確率で正確に復元されるという意味です。
データマトリックスが大きい。
第 2 に、前者の結果を改良し、特定の条件下で、特定の対象ノードのコミュニティ メンバーシップが、大規模データの制限内の 1 に近い確率で漸近的に正確に回復できることをさらに確立します。
第三に、ランク統計をエントリとする行列の切り捨てられた固有構造に関連する漸近正規性の結果を確立します。これは、いわゆる単純な線形ランク統計の古典的なノンパラメトリック理論と現代のエントリワイズ行列摂動解析を合成することによって可能になります。
まとめると、これらの結果は、次元削減のためのスペクトル技術と組み合わせた場合の、ランクベースのデータ変換の統計的有用性を示しています。
さらに、人間のコネクトームのデータセットの場合、私たちのアプローチは次元を最小限に削減し、グラウンドトゥルースの神経解剖学的クラスター構造の回復を改善します。

要約(オリジナル)

This paper analyzes the statistical performance of a robust spectral clustering method for latent structure recovery in noisy data matrices. We consider eigenvector-based clustering applied to a matrix of nonparametric rank statistics that is derived entrywise from the raw, original data matrix. This approach is robust in the sense that, unlike traditional spectral clustering procedures, it can provably recover population-level latent block structure even when the observed data matrix includes heavy-tailed entries and has a heterogeneous variance profile. Our main theoretical contributions are threefold and hold under flexible data generating conditions. First, we establish that robust spectral clustering with rank statistics can consistently recover latent block structure, viewed as communities of nodes in a graph, in the sense that unobserved community memberships for all but a vanishing fraction of nodes are correctly recovered with high probability when the data matrix is large. Second, we refine the former result and further establish that, under certain conditions, the community membership of any individual, specified node of interest can be asymptotically exactly recovered with probability tending to one in the large-data limit. Third, we establish asymptotic normality results associated with the truncated eigenstructure of matrices whose entries are rank statistics, made possible by synthesizing contemporary entrywise matrix perturbation analysis with the classical nonparametric theory of so-called simple linear rank statistics. Collectively, these results demonstrate the statistical utility of rank-based data transformations when paired with spectral techniques for dimensionality reduction. Additionally, for a dataset of human connectomes, our approach yields parsimonious dimensionality reduction and improved recovery of ground-truth neuroanatomical cluster structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google