Tuning Stochastic Gradient Algorithms for Statistical Inference via Large-Sample Asymptotics

要約

最適化とサンプリングのための確率的勾配アルゴリズム (SGA) の調整は、多くの場合、一般化可能な理論ではなくヒューリスティックと試行錯誤に基づいています。
我々は、統合ステップサイズとサンプルサイズのスケーリング制限を介して SGA の大規模サンプル統計的漸近を特徴付けることで、この理論と実践のギャップに対処します。
大きな固定ステップ サイズでの反復平均は、調整パラメーターの選択に対して堅牢であり、MLE サンプリング分布の共分散に漸近的に比例する共分散を持つことを示します。
また、モデルの仕様ミスに対して堅牢な一般化事後を含む、調整をガイドするためのバーンスタイン フォン ミーゼスのような定理も証明します。
数値実験により、現実的な有限サンプル領域における結果と推奨事項が検証されます。
私たちの研究は、さまざまなモデルに対する他の確率的勾配マルコフ連鎖モンテカルロ アルゴリズムの体系的な分析の基礎を築きます。

要約(オリジナル)

The tuning of stochastic gradient algorithms (SGAs) for optimization and sampling is often based on heuristics and trial-and-error rather than generalizable theory. We address this theory–practice gap by characterizing the large-sample statistical asymptotics of SGAs via a joint step-size–sample-size scaling limit. We show that iterate averaging with a large fixed step size is robust to the choice of tuning parameters and asymptotically has covariance proportional to that of the MLE sampling distribution. We also prove a Bernstein–von Mises-like theorem to guide tuning, including for generalized posteriors that are robust to model misspecification. Numerical experiments validate our results and recommendations in realistic finite-sample regimes. Our work lays the foundation for a systematic analysis of other stochastic gradient Markov chain Monte Carlo algorithms for a wide range of models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google