Multi-Response Heteroscedastic Gaussian Process Models and Their Inference

要約

ガウス過程モデルは汎用性の高いノンパラメトリック モデリングに広く利用されていますが、関数の滑らかさの急激な変化を効果的に捕捉し、不均一分散誤差との関係に対応するには限界があります。
これらの欠点に対処するため、異分散ガウス過程 (HeGP) 回帰では、回帰モデルの共変量間の残差分散の変動性を認識することで柔軟性を導入しようとしています。
この研究では、HeGP の概念を拡張し、その範囲を回帰タスクを超えて分類および状態空間モデルを含むように拡張します。
これを達成するために、混合定式化を採用して、ガウスプロセスを共変量誘導の精密行列プロセスと組み合わせる新しいフレームワークを提案します。
このアプローチにより、共変量にわたる不均一分散共分散関数のモデリングが可能になります。
サンプリングによってもたらされる計算上の課題を軽減するために、変分推論を使用して事後を近似し、事後予測モデリングを容易にします。
さらに、トレーニング プロセスでは、閉形式 M ステップ更新を特徴とする EM アルゴリズムを利用して、不均一分散共分散関数を効率的に評価します。
私たちのモデルの注目すべき特徴は、多変量応答に対する一貫したパフォーマンスであり、さまざまなタイプ (連続またはカテゴリ) にシームレスに対応します。
シミュレーションと気候学における現実世界への応用を組み合わせて、モデルの優れた点と利点を説明します。
従来のガウス プロセス モデルの制限を克服することで、私たちが提案するフレームワークは、幅広いアプリケーションに堅牢で多用途のツールを提供します。

要約(オリジナル)

Despite the widespread utilization of Gaussian process models for versatile nonparametric modeling, they exhibit limitations in effectively capturing abrupt changes in function smoothness and accommodating relationships with heteroscedastic errors. Addressing these shortcomings, the heteroscedastic Gaussian process (HeGP) regression seeks to introduce flexibility by acknowledging the variability of residual variances across covariates in the regression model. In this work, we extend the HeGP concept, expanding its scope beyond regression tasks to encompass classification and state-space models. To achieve this, we propose a novel framework where the Gaussian process is coupled with a covariate-induced precision matrix process, adopting a mixture formulation. This approach enables the modeling of heteroscedastic covariance functions across covariates. To mitigate the computational challenges posed by sampling, we employ variational inference to approximate the posterior and facilitate posterior predictive modeling. Additionally, our training process leverages an EM algorithm featuring closed-form M-step updates to efficiently evaluate the heteroscedastic covariance function. A notable feature of our model is its consistent performance on multivariate responses, accommodating various types (continuous or categorical) seamlessly. Through a combination of simulations and real-world applications in climatology, we illustrate the model’s prowess and advantages. By overcoming the limitations of traditional Gaussian process models, our proposed framework offers a robust and versatile tool for a wide array of applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google