Deep Transformed Gaussian Processes

要約

変換ガウス過程 (TGP) は、可逆変換を使用して、前のプロセス (通常は GP) からの結合分布からのサンプルを変換することによって指定される確率過程です。
基本プロセスの柔軟性が向上します。
さらに、GP の階層的連結によって構築されるもう 1 つの一般化であるディープ ガウス プロセス (DGP) と比較して、競合する結果を達成します。
この研究では、深層変換ガウス過程 (DTGP) と呼ばれる TGP の一般化を提案します。これは、確率過程の層を連結する傾向に従います。
より正確には、各層が TGP である多層モデルを取得します。
この一般化は、TGP と DGP の両方に関する柔軟性の増加を意味します。
このようなモデルでの正確な推論は困難です。
ただし、変分推論を使用して必要な計算を近似し、人気のある DSVI 推論アルゴリズムの直接的な拡張が得られることを示します (Salimbeni et al (2017))。
実施された実験では、提案された新しい DTGP を重回帰データセットで評価し、優れたスケーラビリティとパフォーマンスを実現しました。

要約(オリジナル)

Transformed Gaussian Processes (TGPs) are stochastic processes specified by transforming samples from the joint distribution from a prior process (typically a GP) using an invertible transformation; increasing the flexibility of the base process. Furthermore, they achieve competitive results compared with Deep Gaussian Processes (DGPs), which are another generalization constructed by a hierarchical concatenation of GPs. In this work, we propose a generalization of TGPs named Deep Transformed Gaussian Processes (DTGPs), which follows the trend of concatenating layers of stochastic processes. More precisely, we obtain a multi-layer model in which each layer is a TGP. This generalization implies an increment of flexibility with respect to both TGPs and DGPs. Exact inference in such a model is intractable. However, we show that one can use variational inference to approximate the required computations yielding a straightforward extension of the popular DSVI inference algorithm Salimbeni et al (2017). The experiments conducted evaluate the proposed novel DTGPs in multiple regression datasets, achieving good scalability and performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google