Improved Particle Approximation Error for Mean Field Neural Networks

要約

平均場ランジュバン ダイナミクス (MFLD) は、確率分布の空間上で定義されたエントロピー正規化非線形凸関数を最小化します。
MFLD は、平均場 2 層ニューラル ネットワークのノイズを含む勾配降下法との関連性により注目を集めています。
標準的なランジュバン力学とは異なり、目的関数の非線形性により粒子の相互作用が誘発され、有限粒子設定における力学を近似するには複数の粒子が必要になります。
最近の研究 (Chen et al., 2022;スズキ et al., 2023b) は、MFLD のカオスの時間内均一伝播を実証し、粒子系とその平均場の限界の間のギャップが時間の経過とともに均一に縮小することを示しました。
粒子の数が増えます。
この研究では、粒子近似誤差における対数ソボレフ不等式 (LSI) 定数への依存性を改善します。この依存性は、正則化係数とともに指数関数的に悪化する可能性があります。
具体的には、リスク最小化の問題構造を利用して、目的ギャップに関する LSI 定数のない粒子近似誤差を確立します。
アプリケーションとして、MFLD の収束の改善、平均場定常分布のサンプリング保証、および粒子の複雑さに関するカオスの時間内均一ワッサーシュタイン伝播を実証します。

要約(オリジナル)

Mean-field Langevin dynamics (MFLD) minimizes an entropy-regularized nonlinear convex functional defined over the space of probability distributions. MFLD has gained attention due to its connection with noisy gradient descent for mean-field two-layer neural networks. Unlike standard Langevin dynamics, the nonlinearity of the objective functional induces particle interactions, necessitating multiple particles to approximate the dynamics in a finite-particle setting. Recent works (Chen et al., 2022; Suzuki et al., 2023b) have demonstrated the uniform-in-time propagation of chaos for MFLD, showing that the gap between the particle system and its mean-field limit uniformly shrinks over time as the number of particles increases. In this work, we improve the dependence on logarithmic Sobolev inequality (LSI) constants in their particle approximation errors, which can exponentially deteriorate with the regularization coefficient. Specifically, we establish an LSI-constant-free particle approximation error concerning the objective gap by leveraging the problem structure in risk minimization. As the application, we demonstrate improved convergence of MFLD, sampling guarantee for the mean-field stationary distribution, and uniform-in-time Wasserstein propagation of chaos in terms of particle complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google