Towards Understanding the Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space

要約

最近、リーマン多様体での最適化は、最適化コミュニティに新しい洞察を提供しました。
この点に関して、二次ワッサーシュタイン距離を備えた確率測量計量空間としてとられる多様体は、その最適化を実際のサンプリングプロセスにリンクできるため、特に興味深いものとなります。
一般に、ワッサーシュタイン空間におけるオラクル（連続）最適化手法は、リーマン勾配流（つまり、KL 発散を最小化する場合のランジュバン力学）です。
この論文では、勾配フローを確率的勾配降下法 (SGD) フローと確率的分散低減勾配 (SVRG) フローに拡張することにより、Wasserstein 空間における連続最適化手法を強化することを目的としています。
ユークリッド空間上の 2 つのフローは標準的な確率的最適化手法ですが、対応するリーマン関数はまだ調査されていません。
Wasserstein 空間の構造を活用することで、確率微分方程式 (SDE) を構築し、対応するランダム ベクトル空間で目的の確率的手法の離散ダイナミクスを近似します。
そして、このような SDE にフォッカー・プランク方程式を適用すると、確率測度の流れが自然に得られます。
さらに、提案されたリーマン確率流の収束率が証明され、ユークリッド空間での結果と一致します。

要約(オリジナル)

Recently, optimization on the Riemannian manifold has provided new insights to the optimization community. In this regard, the manifold taken as the probability measure metric space equipped with the second-order Wasserstein distance is of particular interest, since optimization on it can be linked to practical sampling processes. In general, the oracle (continuous) optimization method on Wasserstein space is Riemannian gradient flow (i.e., Langevin dynamics when minimizing KL divergence). In this paper, we aim to enrich the continuous optimization methods in the Wasserstein space by extending the gradient flow into the stochastic gradient descent (SGD) flow and stochastic variance reduction gradient (SVRG) flow. The two flows on Euclidean space are standard stochastic optimization methods, while their Riemannian counterparts are not explored yet. By leveraging the structures in Wasserstein space, we construct a stochastic differential equation (SDE) to approximate the discrete dynamics of desired stochastic methods in the corresponded random vector space. Then, the flows of probability measures are naturally obtained by applying Fokker-Planck equation to such SDE. Furthermore, the convergence rates of the proposed Riemannian stochastic flows are proven, and they match the results in Euclidean space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google