Properties of Discrete Sliced Wasserstein Losses

要約

スライス ワッサーシュタイン (SW) 距離は、確率尺度を比較するためのワッサーシュタイン距離の一般的な代替手段となっています。
広範なアプリケーションには、画像処理、ドメイン適応、生成モデリングが含まれます。SW を最小限に抑えるために、いくつかのパラメーターを最適化するのが一般的です。SW は、離散確率尺度間の損失関数として機能します (密度を考慮した尺度は数値的に達成できないため)。
これらの最適化問題はすべて、スライスされたワッサースタインのエネルギーを最小化するという同じ副次問題を抱えています。
この論文では、$\mathcal{E} の特性を研究します: Y \longmapsto \mathrm{SW}_2^2(\gamma_Y, \gamma_Z)$、つまり、同じ量の点を持つ 2 つの一様な離散測定間の SW 距離
いずれかのメジャーのサポート $Y \in \mathbb{R}^{n \times d}$ の関数として。
このエネルギーの規則性と最適化特性、およびそのモンテカルロ近似 $\mathcal{E}_p$ ($p$ サンプルのみを使用して SW の期待値を推定) を調査し、$ の臨界点での収束結果を示します。
\mathcal{E}_p$ を $\mathcal{E}$ の結果に変換するだけでなく、プロセス $\mathcal{E}_p(Y)$ 上でほぼ確実に一様収束と一様な中心限界の結果が得られます。
最後に、ある意味で $\mathcal{E}$ と $\mathcal{E}_p$ を最小化する確率的勾配降下法が、これらのエネルギーの (Clarke) 臨界点に向かって収束することを示します。

要約(オリジナル)

The Sliced Wasserstein (SW) distance has become a popular alternative to the Wasserstein distance for comparing probability measures. Widespread applications include image processing, domain adaptation and generative modelling, where it is common to optimise some parameters in order to minimise SW, which serves as a loss function between discrete probability measures (since measures admitting densities are numerically unattainable). All these optimisation problems bear the same sub-problem, which is minimising the Sliced Wasserstein energy. In this paper we study the properties of $\mathcal{E}: Y \longmapsto \mathrm{SW}_2^2(\gamma_Y, \gamma_Z)$, i.e. the SW distance between two uniform discrete measures with the same amount of points as a function of the support $Y \in \mathbb{R}^{n \times d}$ of one of the measures. We investigate the regularity and optimisation properties of this energy, as well as its Monte-Carlo approximation $\mathcal{E}_p$ (estimating the expectation in SW using only $p$ samples) and show convergence results on the critical points of $\mathcal{E}_p$ to those of $\mathcal{E}$, as well as an almost-sure uniform convergence and a uniform Central Limit result on the process $\mathcal{E}_p(Y)$. Finally, we show that in a certain sense, Stochastic Gradient Descent methods minimising $\mathcal{E}$ and $\mathcal{E}_p$ converge towards (Clarke) critical points of these energies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google