Statistical exploration of the Manifold Hypothesis

要約

多様体仮説は、名目上高次元のデータが実際には高次元空間に埋め込まれた低次元多様体の近くに集中していると主張する、広く受け入れられている機械学習の教義です。
この現象は、現実世界の多くの状況で経験的に観察されており、過去数十年間で幅広い統計手法の開発につながり、現代の AI テクノロジーの成功の重要な要素として示唆されています。
私たちは、データ内の豊富で時には複雑な多様体構造が、潜在変数、相関、定常性などの基本概念を介して、一般的で非常に単純な統計モデルである潜在計量モデルから出現する可能性があることを示します。
これにより、多様体仮説が多くの状況で成り立つと思われる理由についての一般的な統計的説明が確立されます。
潜在計量モデルの情報をもとに、高次元データの幾何学的形状を発見して解釈し、データ生成メカニズムに関する仮説を調査するための手順を導き出します。
これらの手順は最小限の仮定の下で動作し、よく知られたスケーラブルなグラフ分析アルゴリズムを利用します。

要約(オリジナル)

The Manifold Hypothesis is a widely accepted tenet of Machine Learning which asserts that nominally high-dimensional data are in fact concentrated near a low-dimensional manifold, embedded in high-dimensional space. This phenomenon is observed empirically in many real world situations, has led to development of a wide range of statistical methods in the last few decades, and has been suggested as a key factor in the success of modern AI technologies. We show that rich and sometimes intricate manifold structure in data can emerge from a generic and remarkably simple statistical model — the Latent Metric Model — via elementary concepts such as latent variables, correlation and stationarity. This establishes a general statistical explanation for why the Manifold Hypothesis seems to hold in so many situations. Informed by the Latent Metric Model we derive procedures to discover and interpret the geometry of high-dimensional data, and explore hypotheses about the data generating mechanism. These procedures operate under minimal assumptions and make use of well known, scaleable graph-analytic algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google