Variational Gaussian Process Diffusion Processes

要約

拡散プロセスは、動的モデリング タスクで自然に生じる表現力豊かなモデルの豊富なファミリーを提供する確率微分方程式 (SDE) のクラスです。
事前に非線形拡散プロセスを備えた潜在プロセスを備えた生成モデルの下での確率的推論と学習は、扱いにくい問題です。
私たちは、変分推論内の作業に基づいて事後過程を線形拡散過程として近似し、アプローチの病理を指摘します。
我々は、サイトベースの指数関数族記述を使用したガウス変分過程の代替パラメータ化を提案します。
これにより、固定小数点反復による遅い推論アルゴリズムを、自然勾配降下法に似た凸最適化の高速アルゴリズムに置き換えることができ、モデル パラメーターの学習の目的も向上します。

要約(オリジナル)

Diffusion processes are a class of stochastic differential equations (SDEs) providing a rich family of expressive models that arise naturally in dynamic modelling tasks. Probabilistic inference and learning under generative models with latent processes endowed with a non-linear diffusion process prior are intractable problems. We build upon work within variational inference, approximating the posterior process as a linear diffusion process, and point out pathologies in the approach. We propose an alternative parameterization of the Gaussian variational process using a site-based exponential family description. This allows us to trade a slow inference algorithm with fixed-point iterations for a fast algorithm for convex optimization akin to natural gradient descent, which also provides a better objective for learning model parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google