Backpropagation-Free Metropolis-Adjusted Langevin Algorithm

要約

Backpropagationのない学習に関する最近の研究により、Forward-Mode Automatic Diftatic（AD）を使用して微分可能なモデルで最適化を実行できることが示されています。
フォワードモード広告では、モデルのフォワードパスごとに接線ベクトルをサンプリングする必要があります。
その結果、接線に沿った方向導関数を使用したモデル評価が得られます。
この論文では、この接線ベクトルのサンプリングを、大都市調整されたランジュビンアルゴリズム（MALA）の提案メカニズムにどのように組み込むことができるかを示します。
そのため、私たちは、バックプロパゲーションフリーの勾配ベースのマルコフチェーンモンテカルロ（MCMC）アルゴリズムを導入した最初の人です。
また、ヘシアン情報を活用する新しいバックプロパゲーションのない位置固有の前委員会の前方モードMALAにも拡張されます。
全体として、4つの新しいアルゴリズムを提案します。フォワードマラ。
前方のマラ;
事前にコンディショニングされた前方マラ、および事前にコンディショニングされたラインフォワードマラ。
フォワードモードサンプラーの計算コストの削減を強調し、フォワードモードが元のMALAと競合していると同時に、確率モデルに応じてパフォーマンスを上回っていることを示します。
階層分布やベイジアンニューラルネットワークなど、さまざまな確率モデルにベイジアン推論の結果を含めます。

要約(オリジナル)

Recent work on backpropagation-free learning has shown that it is possible to use forward-mode automatic differentiation (AD) to perform optimization on differentiable models. Forward-mode AD requires sampling a tangent vector for each forward pass of a model. The result is the model evaluation with the directional derivative along the tangent. In this paper, we illustrate how the sampling of this tangent vector can be incorporated into the proposal mechanism for the Metropolis-Adjusted Langevin Algorithm (MALA). As such, we are the first to introduce a backpropagation-free gradient-based Markov chain Monte Carlo (MCMC) algorithm. We also extend to a novel backpropagation-free position-specific preconditioned forward-mode MALA that leverages Hessian information. Overall, we propose four new algorithms: Forward MALA; Line Forward MALA; Pre-conditioned Forward MALA, and Pre-conditioned Line Forward MALA. We highlight the reduced computational cost of the forward-mode samplers and show that forward-mode is competitive with the original MALA, while even outperforming it depending on the probabilistic model. We include Bayesian inference results on a range of probabilistic models, including hierarchical distributions and Bayesian neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google