Non-asymptotic spectral bounds on the $\varepsilon$-entropy of kernel classes

要約

$K: \boldsymbol{\Omega}\times \boldsymbol{\Omega}$ を ${\mathbb R}^n$ のコンパクトなサブセットで定義された連続マーサー カーネルとし、$\mathcal{H}_K$ を
$K$ に関連付けられたカーネル ヒルベルト空間 (RKHS) を再現します。
$\boldsymbol{\Omega}$ 上の有限測度 $\nu$ を与えて、空間 $L_p における $\mathcal{H}_K$ の単位球の $\varepsilon$-エントロピーの上限と下限を調査します。
(\nu)$。
このトピックは、カーネルベースの手法の現代の統計理論における重要な方向性です。
$p\in [1,+\infty]$ の明確な上限と下限を証明します。
$p\in [1,2]$ の場合、上限は対応する積分演算子 $\phi\to \int_{\boldsymbol{\Omega}} K(\cdot,{\mathbf) の固有値の動作によってのみ決定されます。
y})\phi({\mathbf y})d\nu({\mathbf y})$。
対照的に、$p>2$ の場合、境界はさらに、$L_p(\nu)$-norm のカーネル $K$ への切り捨てられたマーサー級数の収束率に依存します。
私たちは限界の多くの結果について議論し、それらが一般的なカーネルの以前の限界よりも大幅に厳しいことを示します。
さらに、ゾーン カーネルやボックス上のガウス カーネルなどの特定のケースでは、境界は $\varepsilon\to +0$ のように漸近的に厳しくなります。

要約(オリジナル)

Let $K: \boldsymbol{\Omega}\times \boldsymbol{\Omega}$ be a continuous Mercer kernel defined on a compact subset of ${\mathbb R}^n$ and $\mathcal{H}_K$ be the reproducing kernel Hilbert space (RKHS) associated with $K$. Given a finite measure $\nu$ on $\boldsymbol{\Omega}$, we investigate upper and lower bounds on the $\varepsilon$-entropy of the unit ball of $\mathcal{H}_K$ in the space $L_p(\nu)$. This topic is an important direction in the modern statistical theory of kernel-based methods. We prove sharp upper and lower bounds for $p\in [1,+\infty]$. For $p\in [1,2]$, the upper bounds are determined solely by the eigenvalue behaviour of the corresponding integral operator $\phi\to \int_{\boldsymbol{\Omega}} K(\cdot,{\mathbf y})\phi({\mathbf y})d\nu({\mathbf y})$. In constrast, for $p>2$, the bounds additionally depend on the convergence rate of the truncated Mercer series to the kernel $K$ in the $L_p(\nu)$-norm. We discuss a number of consequences of our bounds and show that they are substantially tighter than previous bounds for general kernels. Furthermore, for specific cases, such as zonal kernels and the Gaussian kernel on a box, our bounds are asymptotically tight as $\varepsilon\to +0$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google