Mirror Mean-Field Langevin Dynamics

要約

平均フィールドランジュビンダイナミクス（MFLD）は、$ \ mathbb {r}^d $を超えるwasserstein空間で機能するエントロピー正規化された非線形凸を最小限に抑え、最近、無限層の2階層ネットワークなどの相互作用粒子システムの勾配降下ダイナミクスのモデルとして注目を集めています。
ただし、関心のある多くの問題にはドメインが制約されており、グローバルな拡散項による既存の平均フィールドアルゴリズムによって解決されません。
MFLDのMFLDのミラーランジュビンフレームワークへの拡張である\ emph {Mirror平均フィールドランゲビンダイナミクス}（MMFLD）を提案することにより、$ \ mathbb {r}^d $の凸サブセットに制約された確率測定の最適化を研究します。
均一な対数ソボレフの不平等を介して連続MMFLDの線形収束保証を取得し、その時間および粒子分散化された対応物のカオス結果の均一な伝播を取得します。

要約(オリジナル)

The mean-field Langevin dynamics (MFLD) minimizes an entropy-regularized nonlinear convex functional on the Wasserstein space over $\mathbb{R}^d$, and has gained attention recently as a model for the gradient descent dynamics of interacting particle systems such as infinite-width two-layer neural networks. However, many problems of interest have constrained domains, which are not solved by existing mean-field algorithms due to the global diffusion term. We study the optimization of probability measures constrained to a convex subset of $\mathbb{R}^d$ by proposing the \emph{mirror mean-field Langevin dynamics} (MMFLD), an extension of MFLD to the mirror Langevin framework. We obtain linear convergence guarantees for the continuous MMFLD via a uniform log-Sobolev inequality, and uniform-in-time propagation of chaos results for its time- and particle-discretized counterpart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google