Latent SDEs on Homogeneous Spaces

要約

我々は、(おそらく複雑な) 観測された確率過程が潜在確率微分方程式 (SDE) の解によって支配される潜在変数モデルにおける変分ベイズ推論の問題を考察します。
効率的な勾配計算など、大規模データから (ほぼ任意の) 潜在ニューラル SDE を学習しようとするときに生じる課題に動機付けられ、私たちは一歩下がって、代わりに特定のサブクラスを研究します。
私たちの場合、SDE は均一潜在空間上で発展し、対応する (行列) リー群の確率力学によって誘発されます。
学習問題においては、単位 $n$-sphere 上の SDE がおそらくこの設定の最も関連性の高い化身です。
特に、変分推論の場合、球体はまったく情報のない事前 SDE の使用を容易にするだけでなく、証拠の下限における近似事後プロセスと事前プロセスの間のカルバック・ライブラー発散に対する特に単純かつ直感的な表現も得られます。
実験により、提案されたタイプの潜在 SDE が、既存の 1 ステップ幾何学的オイラー丸山スキームによって効率的に学習できることが実証されています。
多様性の少ないクラスの SDE に限定しているにもかかわらず、さまざまな時系列内挿および分類ベンチマークで競争力のある、または最先端のパフォーマンスを達成しています。

要約(オリジナル)

We consider the problem of variational Bayesian inference in a latent variable model where a (possibly complex) observed stochastic process is governed by the solution of a latent stochastic differential equation (SDE). Motivated by the challenges that arise when trying to learn an (almost arbitrary) latent neural SDE from large-scale data, such as efficient gradient computation, we take a step back and study a specific subclass instead. In our case, the SDE evolves on a homogeneous latent space and is induced by stochastic dynamics of the corresponding (matrix) Lie group. In learning problems, SDEs on the unit $n$-sphere are arguably the most relevant incarnation of this setup. Notably, for variational inference, the sphere not only facilitates using a truly uninformative prior SDE, but we also obtain a particularly simple and intuitive expression for the Kullback-Leibler divergence between the approximate posterior and prior process in the evidence lower bound. Experiments demonstrate that a latent SDE of the proposed type can be learned efficiently by means of an existing one-step geometric Euler-Maruyama scheme. Despite restricting ourselves to a less diverse class of SDEs, we achieve competitive or even state-of-the-art performance on various time series interpolation and classification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google