Calibrated Computation-Aware Gaussian Processes

要約

ガウスのプロセスは、トレーニングセットのサイズでキュービング的にスケーリングすることで有名であり、非常に大きな回帰問題への適用を妨げます。
計算目的のガウスプロセス（CAGPS）は、確率的線形ソルバーを活用して複雑さを軽減することにより、このスケーリングの問題に取り組み、計算の減少による追加の計算の不確実性で後部を広げます。
ただし、最も一般的に使用されるCAGPフレームワークは、（時には劇的に）保守的な不確実性の定量化をもたらし、事後は実際に非現実的になります。
この作業では、利用された確率的線形ソルバーが厳密な統計的な意味で校正されている場合、誘導CAGPも同様であることを証明します。
したがって、基礎となる確率的線形ソルバーのGauss-seide反復の使用に基づいて、新しいCAGPフレームワークであるCAGP-GSを提案します。
CAGP-GSは、テストセットが低次元であり、反復が少ない場合、既存のアプローチと比較して好意的に機能します。
合成問題のキャリブレーション性をテストし、パフォーマンスを大規模なグローバル温度回帰問題の既存のアプローチと比較します。

要約(オリジナル)

Gaussian processes are notorious for scaling cubically with the size of the training set, preventing application to very large regression problems. Computation-aware Gaussian processes (CAGPs) tackle this scaling issue by exploiting probabilistic linear solvers to reduce complexity, widening the posterior with additional computational uncertainty due to reduced computation. However, the most commonly used CAGP framework results in (sometimes dramatically) conservative uncertainty quantification, making the posterior unrealistic in practice. In this work, we prove that if the utilised probabilistic linear solver is calibrated, in a rigorous statistical sense, then so too is the induced CAGP. We thus propose a new CAGP framework, CAGP-GS, based on using Gauss-Seidel iterations for the underlying probabilistic linear solver. CAGP-GS performs favourably compared to existing approaches when the test set is low-dimensional and few iterations are performed. We test the calibratedness on a synthetic problem, and compare the performance to existing approaches on a large-scale global temperature regression problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google