Momentum Particle Maximum Likelihood

要約

潜在変数モデルの最尤推定 (MLE) は、多くの場合、パラメーターと確率分布の拡張空間にわたる自由エネルギー汎関数の最小化として再構成されます。
この観点は最近、最適輸送からの洞察と結合され、潜在変数モデルをデータに適合させるための新しい粒子ベースのアルゴリズムが得られました。
「運動量を強化した」最適化アルゴリズムを常微分方程式の離散化として解釈する以前の研究からインスピレーションを得て、自由エネルギー関数を最小化するための類似した力学システムにインスピレーションを得たアプローチを提案します。
その結果、ネステロフの加速勾配法、不足減衰ランジュバン拡散、および粒子法の要素をブレンドした動的システムが誕生しました。
適切な仮定の下で、連続時間システムが汎関数を最小化することを証明します。
システムを離散化することにより、潜在変数モデルにおける MLE の実用的なアルゴリズムが得られます。
このアルゴリズムは数値実験において既存の粒子法を上回り、他の MLE アルゴリズムと比べても遜色ありません。

要約(オリジナル)

Maximum likelihood estimation (MLE) of latent variable models is often recast as the minimization of a free energy functional over an extended space of parameters and probability distributions. This perspective was recently combined with insights from optimal transport to obtain novel particle-based algorithms for fitting latent variable models to data. Drawing inspiration from prior works which interpret `momentum-enriched’ optimization algorithms as discretizations of ordinary differential equations, we propose an analogous dynamical-systems-inspired approach to minimizing the free energy functional. The result is a dynamical system that blends elements of Nesterov’s Accelerated Gradient method, the underdamped Langevin diffusion, and particle methods. Under suitable assumptions, we prove that the continuous-time system minimizes the functional. By discretizing the system, we obtain a practical algorithm for MLE in latent variable models. The algorithm outperforms existing particle methods in numerical experiments and compares favourably with other MLE algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google