Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold

要約

確率モデルの最適化は、統計においてよく研究された分野です。
ただし、生成モデルのトレーニングとの接続は、主に推奨されていないままです。
この論文では、時変生成モデルの進化を指数関数的なファミリマニホールドに投影できることを示し、自然に生成モデルのパラメーターと確率モデルのパラメーター間のリンクを作成します。
次に、自然勾配降下スキームに従ってマニホールドに投影を移動することにより、生成モデルをトレーニングします。
また、このアプローチにより、扱いにくいモデルのMCMCに依存することなく、KL発散の自然勾配を効率的に近似することができます。
さらに、アルゴリズムの粒子バージョンを提案します。アルゴリズムは、指数ファミリ内の任意のパラメトリックモデルのクローズドフォーム更新ルールを備えています。
おもちゃと実世界の実験を通じて、提案されたアルゴリズムの有効性を検証します。
提案されたアルゴリズムのコードは、https：//github.com/anewgithubname/ingdにあります。

要約(オリジナル)

Optimising probabilistic models is a well-studied field in statistics. However, its connection with the training of generative models remains largely under-explored. In this paper, we show that the evolution of time-varying generative models can be projected onto an exponential family manifold, naturally creating a link between the parameters of a generative model and those of a probabilistic model. We then train the generative model by moving its projection on the manifold according to the natural gradient descent scheme. This approach also allows us to efficiently approximate the natural gradient of the KL divergence without relying on MCMC for intractable models. Furthermore, we propose particle versions of the algorithm, which feature closed-form update rules for any parametric model within the exponential family. Through toy and real-world experiments, we validate the effectiveness of the proposed algorithms. The code of the proposed algorithms can be found at https://github.com/anewgithubname/iNGD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google