PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling

要約

最近の進歩により、GP 事前分布、またはその有限実現は、変分オートエンコーダ (VAE) などの深い生成モデルを使用してエンコードできることが示されています。
これらの学習されたジェネレーターは、MCMC 推論中に元の事前確率のドロップイン置換として機能できます。
このアプローチでは効率的な推論が可能になりますが、元のモデルのハイパーパラメータに関する情報が失われるため、ハイパーパラメータに関する推論が不可能になり、学習された事前分布が不明瞭になります。
この制限を克服するために、確率過程のハイパーパラメータに基づいて VAE を条件付けします。
これにより、GP の実現とその後の推論中の推定によるハイパーパラメータの共同エンコードが可能になります。
さらに、私たちが提案する方法である PriorCVAE は、近似するモデルの性質に依存せず、たとえば ODE の解をエンコードするために使用できることを示します。
これは近似推論のための実用的なツールを提供し、現実の空間および時空間アプリケーションでの可能性を示します。

要約(オリジナル)

Recent advances have shown that GP priors, or their finite realisations, can be encoded using deep generative models such as variational autoencoders (VAEs). These learned generators can serve as drop-in replacements for the original priors during MCMC inference. While this approach enables efficient inference, it loses information about the hyperparameters of the original models, and consequently makes inference over hyperparameters impossible and the learned priors indistinct. To overcome this limitation, we condition the VAE on stochastic process hyperparameters. This allows the joint encoding of hyperparameters with GP realizations and their subsequent estimation during inference. Further, we demonstrate that our proposed method, PriorCVAE, is agnostic to the nature of the models which it approximates, and can be used, for instance, to encode solutions of ODEs. It provides a practical tool for approximate inference and shows potential in real-life spatial and spatiotemporal applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google