Physics Inspired Approaches To Understanding Gaussian Processes

要約

誘導性バイアスを形成する潜在関数に関する以前の信念は、カーネルを介してガウス プロセス (GP) に組み込むことができます。
ただし、カーネルの選択を超えて、GP モデルの意思決定プロセスは依然としてよく理解されていません。
この研究では、物理学の手法を使用した GP モデルの損失状況の分析に貢献します。
私たちは、Matern カーネルの $\nu$ 連続性を実証し、損失状況の重要な点におけるカタストロフ理論の側面を概説します。
Matern カーネルのハイパーパラメータ最適化に $\nu$ を直接含めることで、$\nu$ の典型的な値がパフォーマンスの点では最適とはほど遠いものの、計算速度が向上したため文献では普及していることがわかりました。
また、GP アンサンブルの効果を評価するためのアプリオリな方法を提供し、損失状況の物理的特性に基づいたさまざまな投票アプローチについて説明します。
これらのアプローチの有用性は、さまざまな合成データセットと実際のデータセットに対して実証されています。
私たちの調査結果は、GP の背後にある意思決定プロセスについての理解を深め、さまざまなアプリケーションにおける GP のパフォーマンスと解釈可能性を向上させるための実践的なガイダンスを提供します。

要約(オリジナル)

Prior beliefs about the latent function to shape inductive biases can be incorporated into a Gaussian Process (GP) via the kernel. However, beyond kernel choices, the decision-making process of GP models remains poorly understood. In this work, we contribute an analysis of the loss landscape for GP models using methods from physics. We demonstrate $\nu$-continuity for Matern kernels and outline aspects of catastrophe theory at critical points in the loss landscape. By directly including $\nu$ in the hyperparameter optimisation for Matern kernels, we find that typical values of $\nu$ are far from optimal in terms of performance, yet prevail in the literature due to the increased computational speed. We also provide an a priori method for evaluating the effect of GP ensembles and discuss various voting approaches based on physical properties of the loss landscape. The utility of these approaches is demonstrated for various synthetic and real datasets. Our findings provide an enhanced understanding of the decision-making process behind GPs and offer practical guidance for improving their performance and interpretability in a range of applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google