Estimating the Spectral Moments of the Kernel Integral Operator from Finite Sample Matrices

要約

入力データ分布からサンプリングされた特徴の構造を分析することは、入力と特徴の数の両方において測定値が限られている場合に困難です。
従来のアプローチでは、有限の測定行列から導出されたサンプル共分散行列の固有値スペクトルに依存することがよくありました。
ただし、これらのスペクトルは測定行列のサイズに影響されやすいため、偏った洞察につながります。
この論文では、有限にサンプリングされた測定行列からの無限の入力と特徴の制限におけるカーネル積分演算子のスペクトル モーメントの不偏推定を提供する新しいアルゴリズムを紹介します。
動的計画法に基づいた私たちの方法は効率的であり、演算子スペクトルのモーメントを推定できます。
動径基底関数 (RBF) カーネル上の推定器の精度を実証し、理論的スペクトルとの一貫性を強調します。
さらに、ニューラル ネットワークで学習された表現の幾何学的形状を理解する際のこの方法の実用性と堅牢性を紹介します。

要約(オリジナル)

Analyzing the structure of sampled features from an input data distribution is challenging when constrained by limited measurements in both the number of inputs and features. Traditional approaches often rely on the eigenvalue spectrum of the sample covariance matrix derived from finite measurement matrices; however, these spectra are sensitive to the size of the measurement matrix, leading to biased insights. In this paper, we introduce a novel algorithm that provides unbiased estimates of the spectral moments of the kernel integral operator in the limit of infinite inputs and features from finitely sampled measurement matrices. Our method, based on dynamic programming, is efficient and capable of estimating the moments of the operator spectrum. We demonstrate the accuracy of our estimator on radial basis function (RBF) kernels, highlighting its consistency with the theoretical spectra. Furthermore, we showcase the practical utility and robustness of our method in understanding the geometry of learned representations in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google