Approximating Langevin Monte Carlo with ResNet-like Neural Network architectures

要約

単純な参照からサンプルをマッピングするニューラル ネットワークを構築することにより、特定のターゲット分布からサンプリングします。
ターゲットからのサンプルへの標準正規分布。
そのために、ランジュバン モンテカルロ (LMC) アルゴリズムにヒントを得たニューラル ネットワーク アーキテクチャを使用することを提案します。
LMC 摂動の結果に基づいて、Wasserstein-$2$ 距離で測定された滑らかな対数凹ターゲット分布に対する提案されたアーキテクチャの近似率を示します。
この分析は、摂動された LMC プロセスの中間測度のサブガウス性の概念に大きく依存しています。
特に、摂動に関するさまざまな仮定の下で、中間分散代理の増加に関する限界を導出します。
さらに、深層残差ニューラル ネットワークと同様のアーキテクチャを提案し、サンプルをターゲット分布図に近似するための表現力の結果を導き出します。

要約(オリジナル)

We sample from a given target distribution by constructing a neural network which maps samples from a simple reference, e.g. the standard normal distribution, to samples from the target. To that end, we propose using a neural network architecture inspired by the Langevin Monte Carlo (LMC) algorithm. Based on LMC perturbation results, we show approximation rates of the proposed architecture for smooth, log-concave target distributions measured in the Wasserstein-$2$ distance. The analysis heavily relies on the notion of sub-Gaussianity of the intermediate measures of the perturbed LMC process. In particular, we derive bounds on the growth of the intermediate variance proxies under different assumptions on the perturbations. Moreover, we propose an architecture similar to deep residual neural networks and derive expressivity results for approximating the sample to target distribution map.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google