A sharp uniform-in-time error estimate for Stochastic Gradient Langevin Dynamics

要約

確率的勾配Langevin Dynamics（SGLD）の鋭い均一な時間エラー推定値を確立します。これは、広く使用されているサンプリングアルゴリズムです。
軽度の仮定の下で、SGLD反復とランジュビン拡散の間のkl-divergenceに均一な時間$ o（\ eta^2）$ $を取得します。ここで、$ \ eta $はステップサイズ（または学習率）です。
分析は、さまざまなステップサイズにも有効です。
したがって、SGLD反復の不変測定値とランジュビン拡散の間の距離にバインドされた$ o（\ eta）$を導き出すことができます。
私たちの結果は、関連文献のSGLDの既存の分析と比較して、大幅な改善と見なすことができます。

要約(オリジナル)

We establish a sharp uniform-in-time error estimate for the Stochastic Gradient Langevin Dynamics (SGLD), which is a widely-used sampling algorithm. Under mild assumptions, we obtain a uniform-in-time $O(\eta^2)$ bound for the KL-divergence between the SGLD iteration and the Langevin diffusion, where $\eta$ is the step size (or learning rate). Our analysis is also valid for varying step sizes. Consequently, we are able to derive an $O(\eta)$ bound for the distance between the invariant measures of the SGLD iteration and the Langevin diffusion, in terms of Wasserstein or total variation distances. Our result can be viewed as a significant improvement compared with existing analysis for SGLD in related literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google