Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes

要約

ガウス プロセスは多用途の確率的機械学習モデルであり、その有効性は適切なハイパーパラメータに依存することが多く、通常、限界尤度を最大化することで学習されます。
この作業では、反復線形システム ソルバーを使用して、指定された数値精度まで周辺尤度勾配を近似し、計算時間と解の精度の間のトレードオフを考慮する反復法を検討します。
反復ガウス処理に周辺尤度最適化の 3 レベルの階層を導入し、大規模な正定値線形方程式系の連続バッチを解くことによって計算コストが支配されることを確認しました。
次に、線形システム ソルバーの解を次のステップの初期化として再利用することで計算を償却し、$\textit{ウォーム スタート}$ を提供することを提案します。
最後に、必要な条件について議論し、ウォーム スタートの結果を定量化し、回帰タスクでの有効性を実証します。ウォーム スタートは、従来の手順と同じ結果を達成しながら、データセット間で最大 16 倍の平均速度向上を実現します。

要約(オリジナル)

Gaussian processes are a versatile probabilistic machine learning model whose effectiveness often depends on good hyperparameters, which are typically learned by maximising the marginal likelihood. In this work, we consider iterative methods, which use iterative linear system solvers to approximate marginal likelihood gradients up to a specified numerical precision, allowing a trade-off between compute time and accuracy of a solution. We introduce a three-level hierarchy of marginal likelihood optimisation for iterative Gaussian processes, and identify that the computational costs are dominated by solving sequential batches of large positive-definite systems of linear equations. We then propose to amortise computations by reusing solutions of linear system solvers as initialisations in the next step, providing a $\textit{warm start}$. Finally, we discuss the necessary conditions and quantify the consequences of warm starts and demonstrate their effectiveness on regression tasks, where warm starts achieve the same results as the conventional procedure while providing up to a $16 \times$ average speed-up among datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google