Linear convergence of proximal descent schemes on the Wasserstein space

要約

我々は、Wasserstein 空間上のエントロピー正規化汎関数を最適化するために、Jordan、Kinderlehrer、Otto によって導入された最小化運動スキームに触発された近位降下法を調査します。
平らな凸面の仮定の下で線形収束を確立し、それによって測地線の凸面への一般的な依存を緩和します。
私たちの分析は、進化変分不等式 (EVI) の離散時間適応の必要性を回避します。
代わりに、一様対数ソボレフ不等式 (LSI) とエントロピー「サンドイッチ」補題を活用し、arXiv:2201.10469 および arXiv:2202.01009 からの分析を拡張します。
LSI による証明における主な課題は、相対的なフィッシャー情報 $I(\cdot|\pi)$ がスキームの各ステップで明確に定義されていることを示すことです。
相対エントロピーは Wasserstein 微分可能ではないため、スキームに沿って反復がソボレフ規則性の特定のクラスに属し、したがって相対エントロピー $\operatorname{KL}(\cdot|\pi)$ には一意の Wasserstein 部分があることが証明されます。
-gradient、および相対的なフィッシャー情報は実際に有限であることがわかります。

要約(オリジナル)

We investigate proximal descent methods, inspired by the minimizing movement scheme introduced by Jordan, Kinderlehrer and Otto, for optimizing entropy-regularized functionals on the Wasserstein space. We establish linear convergence under flat convexity assumptions, thereby relaxing the common reliance on geodesic convexity. Our analysis circumvents the need for discrete-time adaptations of the Evolution Variational Inequality (EVI). Instead, we leverage a uniform logarithmic Sobolev inequality (LSI) and the entropy ‘sandwich’ lemma, extending the analysis from arXiv:2201.10469 and arXiv:2202.01009. The major challenge in the proof via LSI is to show that the relative Fisher information $I(\cdot|\pi)$ is well-defined at every step of the scheme. Since the relative entropy is not Wasserstein differentiable, we prove that along the scheme the iterates belong to a certain class of Sobolev regularity, and hence the relative entropy $\operatorname{KL}(\cdot|\pi)$ has a unique Wasserstein sub-gradient, and that the relative Fisher information is indeed finite.

arxiv情報

著者 Razvan-Andrei Lascu,Mateusz B. Majka,David Šiška,Łukasz Szpruch
発行日 2024-11-22 16:56:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, math.PR パーマリンク