PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling

要約

タイトル：PriorCVAE：Bayesian Deep Generative Modelingを用いたスケーラブルなMCMCパラメータ推定

要約：

– ベイズ推論を利用するアプリケーションでは、確率過程が事前分布として使われることがある。最近の研究により、確率過程による計算処理を深層生成モデルである変分オートエンコーダ（VAE）を用いて表現することができ、MCMC推定において元の事前分布の代わりに学習された生成器を使用できることが示されています。
– しかし、この方法では確率過程のハイパーパラメータに関する情報が欠落し、ハイパーパラメータの推定が不可能になります。
– そのため、本論文ではPriorCVAEを提案しています。これは、VAEを確率過程のハイパーパラメータ上で条件付けることにより、ハイパーパラメータを推定することができます。
– PriorCVAEは、近似推論手法のうち有用なツールであり、空間および時空推論において実際のアプリケーションに大きな影響を与える可能性があると考えられています。 PriorCVAE技術を示すコードは、以下のリンクからアクセスできます: https://github.com/elizavetasemenova/PriorCVAE。

要約(オリジナル)

In applied fields where the speed of inference and model flexibility are crucial, the use of Bayesian inference for models with a stochastic process as their prior, e.g. Gaussian processes (GPs) is ubiquitous. Recent literature has demonstrated that the computational bottleneck caused by GP priors or their finite realizations can be encoded using deep generative models such as variational autoencoders (VAEs), and the learned generators can then be used instead of the original priors during Markov chain Monte Carlo (MCMC) inference in a drop-in manner. While this approach enables fast and highly efficient inference, it loses information about the stochastic process hyperparameters, and, as a consequence, makes inference over hyperparameters impossible and the learned priors indistinct. We propose to resolve the aforementioned issue and disentangle the learned priors by conditioning the VAE on stochastic process hyperparameters. This way, the hyperparameters are encoded alongside GP realisations and can be explicitly estimated at the inference stage. We believe that the new method, termed PriorCVAE, will be a useful tool among approximate inference approaches and has the potential to have a large impact on spatial and spatiotemporal inference in crucial real-life applications. Code showcasing the PriorCVAE technique can be accessed via the following link: https://github.com/elizavetasemenova/PriorCVAE

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI