Tuning-free coreset Markov chain Monte Carlo

要約

ベイジアン コアセットは、計算コストを削減するために推論中に完全なデータを置き換える、データ セットの小さな重み付けされたサブセットです。
最先端のコアセット構築アルゴリズムであるコアセット マルコフ連鎖モンテカルロ (Coreset MCMC) は、コアセット事後をターゲットとする適応マルコフ連鎖からの描画を使用して、確率的勾配最適化を通じてコアセットの重みをトレーニングします。
ただし、構築されたコアセットの品質、つまりその事後近似の品質は、確率的最適化学習率の影響を受けます。
この研究では、ユーザーの調整作業なしで Coreset MCMC でコアセットの重みをトレーニングするための、学習率フリーの確率的勾配最適化手順である Hot-start Distance over Gradient (Hot DoG) を提案します。
経験的結果は、Hot DoG が他の学習率フリーの確率的勾配法よりも高品質の事後近似を提供し、最適に調整された ADAM と競合して実行できることを示しています。

要約(オリジナル)

A Bayesian coreset is a small, weighted subset of a data set that replaces the full data during inference to reduce computational cost. The state-of-the-art coreset construction algorithm, Coreset Markov chain Monte Carlo (Coreset MCMC), uses draws from an adaptive Markov chain targeting the coreset posterior to train the coreset weights via stochastic gradient optimization. However, the quality of the constructed coreset, and thus the quality of its posterior approximation, is sensitive to the stochastic optimization learning rate. In this work, we propose a learning-rate-free stochastic gradient optimization procedure, Hot-start Distance over Gradient (Hot DoG), for training coreset weights in Coreset MCMC without user tuning effort. Empirical results demonstrate that Hot DoG provides higher quality posterior approximations than other learning-rate-free stochastic gradient methods, and performs competitively to optimally-tuned ADAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google