Doubly Regularized Entropic Wasserstein Barycenters

要約

好ましい規則性、近似、安定性、および (グリッドフリー) 最適化特性を享受する正則化されたワッサースタイン重心の一般的な定式化を研究します。
この重心は、与えられた確率尺度のファミリーとエントロピー項に関して、エントロピー最適輸送 (EOT) コストの合計を最小化する一意の確率尺度として定義されます。
$(\lambda,\tau)$-barycenter と表します。ここで、$\lambda$ は内側の正則化強度であり、$\tau$ は外側の正則化強度です。
この定式化は、$\lambda,\tau\geq 0$ のさまざまな選択に対して、以前に提案されたいくつかの EOT 重心を回復し、それらを一般化します。
まず、\emph{二重に} 正則化されているにもかかわらず、実際には正則化されているため、$\tau=\lambda/2$ に対して定式化が偏っていないことを示します。
滑らかな密度の場合、一般的な $\max\{\lambda,\tau\}$ ではなく、エントロピー正則化の強さ $\lambda^2$ のオーダーです。
すべての $(\lambda,\tau)$ 重心が閉じた形式の等方性ガウスについて、この現象について説明します。
次に、$\lambda,\tau>0$ の場合、この重心は滑らかな密度を持ち、周辺の摂動下で強く安定していることを示します。
特に、効率的に推定できます。各確率測定から $n$ サンプルが与えられると、比率 $n^{-1/2}$ で母集団の重心に相対エントロピーで収束します。
そして最後に、この定式化は、グリッドのない最適化アルゴリズムに自然に役立ちます。単純な \emph{ノイズ粒子勾配降下} を提案します。これは、平均場の極限で、指数関数的な速度で重心に全体的に収束します。

要約(オリジナル)

We study a general formulation of regularized Wasserstein barycenters that enjoys favorable regularity, approximation, stability and (grid-free) optimization properties. This barycenter is defined as the unique probability measure that minimizes the sum of entropic optimal transport (EOT) costs with respect to a family of given probability measures, plus an entropy term. We denote it $(\lambda,\tau)$-barycenter, where $\lambda$ is the inner regularization strength and $\tau$ the outer one. This formulation recovers several previously proposed EOT barycenters for various choices of $\lambda,\tau \geq 0$ and generalizes them. First, in spite of — and in fact owing to — being \emph{doubly} regularized, we show that our formulation is debiased for $\tau=\lambda/2$: the suboptimality in the (unregularized) Wasserstein barycenter objective is, for smooth densities, of the order of the strength $\lambda^2$ of entropic regularization, instead of $\max\{\lambda,\tau\}$ in general. We discuss this phenomenon for isotropic Gaussians where all $(\lambda,\tau)$-barycenters have closed form. Second, we show that for $\lambda,\tau>0$, this barycenter has a smooth density and is strongly stable under perturbation of the marginals. In particular, it can be estimated efficiently: given $n$ samples from each of the probability measures, it converges in relative entropy to the population barycenter at a rate $n^{-1/2}$. And finally, this formulation lends itself naturally to a grid-free optimization algorithm: we propose a simple \emph{noisy particle gradient descent} which, in the mean-field limit, converges globally at an exponential rate to the barycenter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google