Inverse Kernel Decomposition

要約

最先端の次元削減アプローチは、主に複雑な最適化手順に依存しています。
一方、固有分解だけを必要とする閉じた形式のアプローチには、十分な洗練性と非線形性がありません。
この論文では、データのサンプル共分散行列の固有分解に基づく、新しい非線形次元削減法である逆カーネル分解 (IKD) を提案します。
この手法はガウス過程潜在変数モデル (GPLVM) からインスピレーションを得ており、GPLVM と同等のパフォーマンスを備えています。
弱い相関を持つ非常にノイズの多いデータを処理するために、局所的に相関するデータ ポイントを利用し、数値的により安定した、より優れた潜在推定を提供する 2 つのソリューション (ブロック単位と測地線) を提案します。
合成データセットと 4 つの現実世界のデータセットを使用して、IKD が他の固有分解ベースの方法よりも優れた次元削減方法であり、より高速な実行速度で最適化ベースの方法と同等のパフォーマンスを達成することを示します。
Python でのオープンソース IKD 実装には、\url{https://github.com/JerrySoybean/ikd} からアクセスできます。

要約(オリジナル)

The state-of-the-art dimensionality reduction approaches largely rely on complicated optimization procedures. On the other hand, closed-form approaches requiring merely eigen-decomposition do not have enough sophistication and nonlinearity. In this paper, we propose a novel nonlinear dimensionality reduction method — Inverse Kernel Decomposition (IKD) — based on an eigen-decomposition of the sample covariance matrix of data. The method is inspired by Gaussian process latent variable models (GPLVMs) and has comparable performance with GPLVMs. To deal with very noisy data with weak correlations, we propose two solutions — blockwise and geodesic — to make use of locally correlated data points and provide better and numerically more stable latent estimations. We use synthetic datasets and four real-world datasets to show that IKD is a better dimensionality reduction method than other eigen-decomposition-based methods, and achieves comparable performance against optimization-based methods with faster running speeds. Open-source IKD implementation in Python can be accessed at this \url{https://github.com/JerrySoybean/ikd}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google