Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions

要約

対数凸関数のセットの平均を最小化するために、確率的ニュートン法では、完全な目的の勾配とヘッセ行列のサブサンプリングされたバージョンを使用して推定値を繰り返し更新します。
我々は、この最適化問題を、識別的に指定された観測プロセスを備えた潜在状態空間モデル上の逐次ベイズ推論として文脈化します。
ベイジアン フィルターを適用すると、更新を形成するときに勾配とヘッセ行列の履歴全体を考慮する新しい最適化アルゴリズムが生成されます。
私たちは、Polyak の重いボールの運動量に似た方法で、古い観測の影響が時間の経過とともに減少する行列ベースの条件を確立します。
私たちのアプローチのさまざまな側面を例で説明し、確率的ニュートン法に関連する他の革新をレビューします。

要約(オリジナル)

To minimize the average of a set of log-convex functions, the stochastic Newton method iteratively updates its estimate using subsampled versions of the full objective’s gradient and Hessian. We contextualize this optimization problem as sequential Bayesian inference on a latent state-space model with a discriminatively-specified observation process. Applying Bayesian filtering then yields a novel optimization algorithm that considers the entire history of gradients and Hessians when forming an update. We establish matrix-based conditions under which the effect of older observations diminishes over time, in a manner analogous to Polyak’s heavy ball momentum. We illustrate various aspects of our approach with an example and review other relevant innovations for the stochastic Newton method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google