Sampling from the Mean-Field Stationary Distribution

要約

我々は、平均場SDEの定常分布からのサンプリングの複雑さ、あるいは同等に、相互作用項を含む確率測度空間上の関数を最小化する複雑さについて研究する。我々の主な洞察は、この問題の2つの重要な側面を切り離すことである：(1)カオスの時間内一様伝播による有限粒子系を介した平均場SDEの近似と、(2)標準的な対数凹型サンプラーを介した有限粒子定常分布からのサンプリング。我々のアプローチは概念的に単純であり、その柔軟性によりアルゴリズムと理論の両面で最先端を取り入れることができる。これにより、平均場領域における特定の2層ニューラルネットワークの最適化に対するより良い保証を含む、多くの設定における保証の改善につながる。主な技術的貢献は、平均場ランジュヴィン・ダイナミクスの定常分布に対する新しい一様-in-$N$ log-Sobolev不等式を確立したことである。

要約(オリジナル)

We study the complexity of sampling from the stationary distribution of a mean-field SDE, or equivalently, the complexity of minimizing a functional over the space of probability measures which includes an interaction term. Our main insight is to decouple the two key aspects of this problem: (1) approximation of the mean-field SDE via a finite-particle system, via uniform-in-time propagation of chaos, and (2) sampling from the finite-particle stationary distribution, via standard log-concave samplers. Our approach is conceptually simpler and its flexibility allows for incorporating the state-of-the-art for both algorithms and theory. This leads to improved guarantees in numerous settings, including better guarantees for optimizing certain two-layer neural networks in the mean-field regime. A key technical contribution is to establish a new uniform-in-$N$ log-Sobolev inequality for the stationary distribution of the mean-field Langevin dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL