Asymptotic Bounds for Smoothness Parameter Estimates in Gaussian Process Interpolation

要約

コンピューター実験の出力などの決定論的応答関数を、マトリックス共分散カーネルを使用したガウス過程としてモデル化するのが一般的です。
Mat\’ern カーネルの平滑度パラメーターは、条件付き平均の応答関数への収束率など、大規模なデータ制限におけるモデルの多くの重要なプロパティを決定します。
$\mathbb{R}^d$ の固定有界サブセットでデータが取得される場合、平滑度パラメーターの最尤推定値は真実を漸近的にアンダースムージングできないことを証明します。
つまり、データ生成応答関数のソボレフ平滑度が $\nu_0 > d/2$ である場合、平滑度パラメーターの推定値は $\nu_0$ よりも漸近的に小さくなりません。
下限が鋭いですね。
さらに、最尤推定により、コンパクトにサポートされた自己相似関数のクラスの真の滑らかさが回復されることを示します。
交差検証では、漸近的な下限 $\nu_0 – d/2$ を証明しますが、これはシャープではない可能性があります。
結果は、ソボレフ空間の近似理論と、パラメーター推定器が取り得る値のセットを制限するいくつかの一般定理に基づいています。

要約(オリジナル)

It is common to model a deterministic response function, such as the output of a computer experiment, as a Gaussian process with a Mat\’ern covariance kernel. The smoothness parameter of a Mat\’ern kernel determines many important properties of the model in the large data limit, including the rate of convergence of the conditional mean to the response function. We prove that the maximum likelihood estimate of the smoothness parameter cannot asymptotically undersmooth the truth when the data are obtained on a fixed bounded subset of $\mathbb{R}^d$. That is, if the data-generating response function has Sobolev smoothness $\nu_0 > d/2$, then the smoothness parameter estimate cannot be asymptotically less than $\nu_0$. The lower bound is sharp. Additionally, we show that maximum likelihood estimation recovers the true smoothness for a class of compactly supported self-similar functions. For cross-validation we prove an asymptotic lower bound $\nu_0 – d/2$, which however is unlikely to be sharp. The results are based on approximation theory in Sobolev spaces and some general theorems that restrict the set of values that the parameter estimators can take.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google