Scalable Multi-Output Gaussian Processes with Stochastic Variational Inference

要約

マルチ出力ガウス プロセスは、複数のソースからのデータをモデリングするための一般的なツールです。
MOGP の共分散関数を構築するための一般的な選択肢は、出力間の共分散をパラメトリックにモデル化する共領域化の線形モデル (LMC) です。
潜在変数 MOGP (LV-MOGP) は、出力ごとに 1 つずつ潜在変数に適用されるカーネルを使用して出力間の共分散をモデル化することでこのアイデアを一般化し、少数のデータ ポイントで新しい出力への効率的な一般化を可能にする柔軟な MOGP モデルをもたらします。
LV-MOGP の計算の複雑さは出力の数に比例して増加するため、多数の出力を伴う問題には適していません。
この論文では、LV-MOGP の確率的変分推論アプローチを提案します。これにより、入力と出力の両方でミニバッチが可能になり、トレーニング反復ごとの計算量が出力の数に依存しなくなります。

要約(オリジナル)

The Multi-Output Gaussian Process is is a popular tool for modelling data from multiple sources. A typical choice to build a covariance function for a MOGP is the Linear Model of Coregionalization (LMC) which parametrically models the covariance between outputs. The Latent Variable MOGP (LV-MOGP) generalises this idea by modelling the covariance between outputs using a kernel applied to latent variables, one per output, leading to a flexible MOGP model that allows efficient generalization to new outputs with few data points. Computational complexity in LV-MOGP grows linearly with the number of outputs, which makes it unsuitable for problems with a large number of outputs. In this paper, we propose a stochastic variational inference approach for the LV-MOGP that allows mini-batches for both inputs and outputs, making computational complexity per training iteration independent of the number of outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google