Gaussian Process Tilted Nonparametric Density Estimation using Fisher Divergence Score Matching

要約

本論文では、低次元密度推定問題に対するガウス過程(GP)ベースのスコアモデルを学習するための3つのフィッシャー発散(FD)最小化アルゴリズムを紹介する。密度は基本多変量正規分布に指数化GP精密化を乗じることで形成されるため、GP傾斜ノンパラメトリック密度と呼ぶ。ランダムフーリエ特徴（RFF）近似を用いてスコアのGP部分を線形関数として表現することにより、全ての学習問題が閉じた形で解けることを示す。これには、フィッシャーダイバージェンスの基本バージョンとノイズ条件付きバージョン、そして変分推論（VI）に基づくノイズ条件付きFDモデルの新しい代替が含まれる。ここでは、フィッシャー変分予測分布を導出する近似事後分布のELBO的最適化を提案する。GPのRFF表現は、コサイン活性化を持つ単層ニューラルネットワークスコアモデルと機能的に等価であり、全ての期待値が閉じた形になるユニークな線形形式を提供する。ガウス基底はVI近似の扱いやすさにも役立つ。我々の3つの学習アルゴリズムと、MAPベースラインアルゴリズムを、いくつかの低次元密度推定問題で実証する。学習問題の閉形式の性質は、反復アルゴリズムへの依存を取り除き、この手法を特に大規模データセットに適したものとする。

要約(オリジナル)

We present three Fisher divergence (FD) minimization algorithms for learning Gaussian process (GP) based score models for lower dimensional density estimation problems. The density is formed by multiplying a base multivariate normal distribution with an exponentiated GP refinement, and so we refer to it as a GP-tilted nonparametric density. By representing the GP part of the score as a linear function using the random Fourier feature (RFF) approximation, we show that all learning problems can be solved in closed form. This includes the basic and noise conditional versions of the Fisher divergence, as well as a novel alternative to noise conditional FD models based on variational inference (VI). Here, we propose using an ELBO-like optimization of the approximate posterior with which we derive a Fisher variational predictive distribution. The RFF representation of the GP, which is functionally equivalent to a single layer neural network score model with cosine activation, provides a unique linear form for which all expectations are in closed form. The Gaussian base also helps with tractability of the VI approximation. We demonstrate our three learning algorithms, as well as a MAP baseline algorithm, on several low dimensional density estimation problems. The closed-form nature of the learning problem removes the reliance on iterative algorithms, making this technique particularly well-suited to large data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL