Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE

要約

この論文では、UMAPやt-SNEなどの次元削減手法が、Ravuriら(2023)で紹介されたモデルに対応するMAP推論手法として近似的に再構成できることを示す。このモデルは、グラフラプラシアン（データ精度行列の推定値）を、潜在変数上で評価される非線形共分散関数によって与えられる平均を持つWishart分布を用いて記述するものである。この解釈は、このようなアルゴリズムに対してより深い理論的、意味的洞察を提供し、グラフラプラシアンが意味する共分散を記述するためによく知られたカーネルが使用できることを示すことにより、ガウス過程潜在変数モデルとの関連付けを行う。また、同様の次元削減法を研究するためのツールも紹介する。

要約(オリジナル)

This paper shows that dimensionality reduction methods such as UMAP and t-SNE, can be approximately recast as MAP inference methods corresponding to a model introduced in Ravuri et al. (2023), that describes the graph Laplacian (an estimate of the data precision matrix) using a Wishart distribution, with a mean given by a non-linear covariance function evaluated on the latents. This interpretation offers deeper theoretical and semantic insights into such algorithms, and forging a connection to Gaussian process latent variable models by showing that well-known kernels can be used to describe covariances implied by graph Laplacians. We also introduce tools with which similar dimensionality reduction methods can be studied.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL