Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed

要約

タイトル: ガウス過程回帰における最尤推定は不適切である

要約:
– ガウス過程回帰は、人工知能や統計学のさまざまな分野で広く用いられている。カーネルのパラメータを決定するために最尤推定が使用されるが、その最尤推定がwell-posedである状況を特定することはまだ開かれた問題である。
-この論文では、Hellinger距離に関して回帰モデルの予測分布がデータの微小な摂動に対して不感性でない場合、最尤推定がwell-posedでない失敗事例があることを特定している。
– これらの失敗事例は、最尤推定によって長さスケールパラメータが推定された任意の定常カーネルを持つガウス過程のノイズレスデータ設定で発生する。
– これらの理論的な結果は初めてであり、well-posednessはガウス過程モデルのトレーニングに最尤推定が使用された場合には事後にケースバイケースで評価する必要がある可能性がある。

要約(オリジナル)

Gaussian process regression underpins countless academic and industrial applications of machine learning and statistics, with maximum likelihood estimation routinely used to select appropriate parameters for the covariance kernel. However, it remains an open problem to establish the circumstances in which maximum likelihood estimation is well-posed, that is, when the predictions of the regression model are insensitive to small perturbations of the data. This article identifies scenarios where the maximum likelihood estimator fails to be well-posed, in that the predictive distributions are not Lipschitz in the data with respect to the Hellinger distance. These failure cases occur in the noiseless data setting, for any Gaussian process with a stationary covariance function whose lengthscale parameter is estimated using maximum likelihood. Although the failure of maximum likelihood estimation is part of Gaussian process folklore, these rigorous theoretical results appear to be the first of their kind. The implication of these negative results is that well-posedness may need to be assessed post-hoc, on a case-by-case basis, when maximum likelihood estimation is used to train a Gaussian process model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI