Optimal Preconditioning and Fisher Adaptive Langevin Sampling

要約

予想されるジャンプ距離の 2 乗を解析的に最適化することで、ランジュバン拡散の最適な事前調整を定義します。
これにより、最適な前処理として逆フィッシャー情報共分散行列が得られます。共分散行列は、ターゲットの下で平均化された対数ターゲット勾配の外積として計算されます。
この結果を Metropolis 調整ランジュバン アルゴリズム (MALA) に適用し、アルゴリズムの実行中に生成される勾配の履歴から事前調整を学習する、計算効率の高い適応 MCMC スキームを導き出します。
我々はいくつかの実験で、提案されたアルゴリズムが高次元で非常に堅牢であり、標準の適応MCMCによる事前調整を学習する密接に関連した適応MALAスキームや位置依存リーマン多様体MALAサンプラーなどの他の方法よりも大幅に優れていることを示します。

要約(オリジナル)

We define an optimal preconditioning for the Langevin diffusion by analytically optimizing the expected squared jumped distance. This yields as the optimal preconditioning an inverse Fisher information covariance matrix, where the covariance matrix is computed as the outer product of log target gradients averaged under the target. We apply this result to the Metropolis adjusted Langevin algorithm (MALA) and derive a computationally efficient adaptive MCMC scheme that learns the preconditioning from the history of gradients produced as the algorithm runs. We show in several experiments that the proposed algorithm is very robust in high dimensions and significantly outperforms other methods, including a closely related adaptive MALA scheme that learns the preconditioning with standard adaptive MCMC as well as the position-dependent Riemannian manifold MALA sampler.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google