Momentum Particle Maximum Likelihood

要約

潜在変数モデルの最尤推定 (MLE) は、パラメーターと確率分布の拡張空間にわたる最適化問題として再構築されることがよくあります。
たとえば、期待値最大化 (EM) アルゴリズムは、この空間上の適切な自由エネルギー汎関数に適用される座標降下として解釈できます。
最近では、この観点を最適輸送およびワッサーシュタイン勾配流からの洞察と組み合わせて、標準的な EM よりも幅広いクラスのモデルに適用できる粒子ベースのアルゴリズムを開発しました。
「運動量に富んだ」最適化アルゴリズムを常微分方程式の離散化として解釈する以前の研究からインスピレーションを得て、パラメータと確率分布の拡張空間にわたる自由エネルギー汎関数を最小化するための、同様の動的システムにインスピレーションを得たアプローチを提案します。
その結果、ネステロフの加速勾配法、不足減衰ランジュバン拡散、および粒子法の要素をブレンドした動的システムが誕生しました。
適切な仮定の下で、連続時間における汎関数の一意の最小化関数への提案されたシステムの定量的収束を確立します。
次に、このシステムを潜在変数モデルのパラメータ推定に適用できるようにする数値離散化を提案します。
数値実験を通じて、結果として得られるアルゴリズムが既存の方法よりも速く収束し、他の (近似の) MLE アルゴリズムと比べて優れていることを実証します。

要約(オリジナル)

Maximum likelihood estimation (MLE) of latent variable models is often recast as an optimization problem over the extended space of parameters and probability distributions. For example, the Expectation Maximization (EM) algorithm can be interpreted as coordinate descent applied to a suitable free energy functional over this space. Recently, this perspective has been combined with insights from optimal transport and Wasserstein gradient flows to develop particle-based algorithms applicable to wider classes of models than standard EM. Drawing inspiration from prior works which interpret `momentum-enriched’ optimisation algorithms as discretizations of ordinary differential equations, we propose an analogous dynamical systems-inspired approach to minimizing the free energy functional over the extended space of parameters and probability distributions. The result is a dynamic system that blends elements of Nesterov’s Accelerated Gradient method, the underdamped Langevin diffusion, and particle methods. Under suitable assumptions, we establish quantitative convergence of the proposed system to the unique minimiser of the functional in continuous time. We then propose a numerical discretization of this system which enables its application to parameter estimation in latent variable models. Through numerical experiments, we demonstrate that the resulting algorithm converges faster than existing methods and compares favourably with other (approximate) MLE algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google