MMD-Regularized Unbalanced Optimal Transport

要約

最大平均不一致 (MMD) 正則化を使用して限界制約が強制される不平衡最適輸送 (UOT) 問題を研究します。
私たちの研究は、UOT に関する文献が $\phi$-divergence (KL divergence など) に基づく正則化に焦点を当てているという観察によって動機付けられています。
MMD の人気にもかかわらず、UOT のコンテキストにおけるレギュラライザーとしての MMD の役割はあまり理解されていないようです。
まず、MMD 正規化 UOT (MMD-UOT) の双対を導出することから始めます。これは、他の有用なプロパティを証明するのに役立ちます。
この二重性の結果の興味深い結果の 1 つは、MMD-UOT が新しい計量を誘発することです。これは、Wasserstein のように地上計量を持ち上げるだけでなく、MMD のように推定するのにも効率的です。
さらに、転送される測定値からのサンプルのみに基づいて、MMD-UOT と対応する重心を推定するための有限次元凸プログラムを提示します。
穏やかな条件下では、凸計画ベースの推定量が一貫しており、推定誤差が $\mathcal{O}\left(m^{-\frac{1}{2}}\right)$ の割合で減衰することを証明します。
、ここで $m$ はサンプル数です。
私たちが知る限り、$\phi$-divergence 正則化 UOT では、次元の呪いから解放されるこのような誤差限界は知られていません。
最後に、加速投影勾配降下法を使用して、提案された凸プログラムを効率的に解く方法について説明します。
私たちの実験では、MMD-UOT が、さまざまな機械学習アプリケーションにおいて、KL 正規化 UOT や MMD などの一般的なベースラインよりも一貫して優れていることが示されています。

要約(オリジナル)

We study the unbalanced optimal transport (UOT) problem, where the marginal constraints are enforced using Maximum Mean Discrepancy (MMD) regularization. Our work is motivated by the observation that the literature on UOT is focused on regularization based on $\phi$-divergence (e.g., KL divergence). Despite the popularity of MMD, its role as a regularizer in the context of UOT seems less understood. We begin by deriving the dual of MMD-regularized UOT (MMD-UOT), which helps us prove other useful properties. One interesting outcome of this duality result is that MMD-UOT induces novel metrics, which not only lift the ground metric like the Wasserstein but are also efficient to estimate like the MMD. Further, we present finite-dimensional convex programs for estimating MMD-UOT and the corresponding barycenter solely based on the samples from the measures being transported. Under mild conditions, we prove that our convex-program-based estimators are consistent and the estimation error decays at a rate $\mathcal{O}\left(m^{-\frac{1}{2}}\right)$, where $m$ is the number of samples. As far as we know, such error bounds that are free from the curse of dimensionality are not known for $\phi$-divergence regularized UOT. Finally, we discuss how the proposed convex programs can be solved efficiently using accelerated projected gradient descent. Our experiments show that MMD-UOT consistently outperforms popular baselines, including KL-regularized UOT and MMD, in diverse machine learning applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google