AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization

要約

不確実性の推定は、科学および工学におけるディープ ニューラル ネットワーク手法の適用を検討する際の重要な問題です。
この研究では、調整された事後分布からのモンテカルロ サンプリングを介して認識論的不確実性を定量化する新しいアルゴリズムを導入します。
これは、確立されたメトロポリス調整ランジュバン アルゴリズム (MALA) と Adam を使用した運動量ベースの最適化を組み合わせ、プロレート提案分布を活用して事後分布から効率的に抽出します。
構築された連鎖が不変分布としてギブス事後分布を認め、総変動距離がこのギブス事後分布に収束することを証明します。
数値評価は最初の改訂まで延期されます。

要約(オリジナル)

Uncertainty estimation is a key issue when considering the application of deep neural network methods in science and engineering. In this work, we introduce a novel algorithm that quantifies epistemic uncertainty via Monte Carlo sampling from a tempered posterior distribution. It combines the well established Metropolis Adjusted Langevin Algorithm (MALA) with momentum-based optimization using Adam and leverages a prolate proposal distribution, to efficiently draw from the posterior. We prove that the constructed chain admits the Gibbs posterior as an invariant distribution and converges to this Gibbs posterior in total variation distance. Numerical evaluations are postponed to a first revision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google