The Minimax Rate of HSIC Estimation for Translation-Invariant Kernels

要約

カーネル技術は、データ サイエンスと統計において最も影響力のあるアプローチの 1 つです。
穏やかな条件下では、カーネルに関連付けられた再現カーネル ヒルベルト空間は、$M\ge 2$ 確率変数の独立性をエンコードできます。
おそらく、カーネルに依存する最も広く普及している独立性尺度は、いわゆるヒルベルト・シュミット独立性基準 (HSIC; 統計文献では距離共分散とも呼ばれます) です。
20 年近く前の導入以来、さまざまな既存の HSIC 推定器が設計されてきたにもかかわらず、HSIC を推定できる速度についての基本的な問題は依然として未解決です。
この研究では、連続有界並進不変特性カーネルを持つガウス分布を含むボレル測度の $\mathbb R^d$ における HSIC 推定の最小最適レートが $\mathcal O\!\left(n^{-
1/2}\右)$。
具体的には、私たちの結果は、$\mathbb R^d$ で最も頻繁に使用される多くの推定量 (U 統計量、V 統計量、Nystr\’om ベースの推定量を含む) のミニマックスの意味での最適性を意味します。
。

要約(オリジナル)

Kernel techniques are among the most influential approaches in data science and statistics. Under mild conditions, the reproducing kernel Hilbert space associated to a kernel is capable of encoding the independence of $M\ge 2$ random variables. Probably the most widespread independence measure relying on kernels is the so-called Hilbert-Schmidt independence criterion (HSIC; also referred to as distance covariance in the statistics literature). Despite various existing HSIC estimators designed since its introduction close to two decades ago, the fundamental question of the rate at which HSIC can be estimated is still open. In this work, we prove that the minimax optimal rate of HSIC estimation on $\mathbb R^d$ for Borel measures containing the Gaussians with continuous bounded translation-invariant characteristic kernels is $\mathcal O\!\left(n^{-1/2}\right)$. Specifically, our result implies the optimality in the minimax sense of many of the most-frequently used estimators (including the U-statistic, the V-statistic, and the Nystr\’om-based one) on $\mathbb R^d$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google