Robust Gaussian Processes via Relevance Pursuit

要約

ガウス過程 (GP) は、柔軟性、データ効率、および適切に校正された不確実性推定により人気のあるノンパラメトリック確率回帰モデルです。
ただし、標準 GP モデルは等分散ガウス ノイズを前提としていますが、実際のアプリケーションの多くは非ガウスの破損の影響を受けます。
代替ノイズ モデルに対してより堅牢な GP のバリアントが提案されており、精度と堅牢性の間、および計算要件と理論的保証の間で大きなトレードオフが伴います。
この研究では、関連性の追求と呼ばれる対数周辺尤度を最大化する逐次選択手順でデータポイント固有のノイズ レベルを推測することにより、まばらな外れ値に対するロバスト性を実現する GP モデルを提案および研究します。
驚くべきことに、関連する対数周辺尤度がデータ点固有のノイズ分散において強く凹になるようにモデルをパラメータ化できることを示します。この特性は、ロバストな回帰目標や GP 周辺尤度のいずれにもめったに見られません。
これは、対応するサブセット選択問題のサブモジュール性が弱いことを意味し、提案されたアルゴリズムの近似が保証されることを証明します。
関数範囲内または関数範囲に近いラベルのまばらな破損という困難ではあるが一般的な設定を含む、さまざまな回帰およびベイジアン最適化タスクに関する他のアプローチとモデルのパフォーマンスを比較します。

要約(オリジナル)

Gaussian processes (GPs) are non-parametric probabilistic regression models that are popular due to their flexibility, data efficiency, and well-calibrated uncertainty estimates. However, standard GP models assume homoskedastic Gaussian noise, while many real-world applications are subject to non-Gaussian corruptions. Variants of GPs that are more robust to alternative noise models have been proposed, and entail significant trade-offs between accuracy and robustness, and between computational requirements and theoretical guarantees. In this work, we propose and study a GP model that achieves robustness against sparse outliers by inferring data-point-specific noise levels with a sequential selection procedure maximizing the log marginal likelihood that we refer to as relevance pursuit. We show, surprisingly, that the model can be parameterized such that the associated log marginal likelihood is strongly concave in the data-point-specific noise variances, a property rarely found in either robust regression objectives or GP marginal likelihoods. This in turn implies the weak submodularity of the corresponding subset selection problem, and thereby proves approximation guarantees for the proposed algorithm. We compare the model’s performance relative to other approaches on diverse regression and Bayesian optimization tasks, including the challenging but common setting of sparse corruptions of the labels within or close to the function range.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google