MMD-regularized Unbalanced Optimal Transport

要約

【タイトル】MMD-regularized Unbalanced Optimal Transport

【要約】
– Maximum Mean Discrepancy（MMD）を用いたマージナル制約下にあるUnbalanced Optimal Transport（UOT）問題を研究する。
– 既存のUOTに関する研究では、主に$\phi$-divergence（例：KL）ベースの正則化に焦点が当てられていることから、UOTの文脈でのMMDの役割は十分に理解されているとは言えない。
– Fenchel dualityを基にした主要な結果として、MMD-UOTが導入するメジャーの集合からの新しいメトリックがある。これは再びIPMファミリーに属する。
– さらに、MMD-UOTとそれに対応するバリセンターを推定するための有限サンプルベースの凸プログラムを提供し、穏やかな条件下で、凸プログラムベースの推定量が一致性を持ち、誤差の推定値は$\mathcal {O}\left(m^{-\frac {1}{2}}\right)$の速度で減衰することを証明する。
– 最後に、(加速)射影勾配降下法を使用して、これらの凸プログラムを効率的に解決する方法について説明する。
– 機械学習の応用において、MMD-UOTが$\phi$-divergenceで正則化されたUOTの有望な代替手段であることを示すために、多様な実験を行う。

要約(オリジナル)

We study the unbalanced optimal transport (UOT) problem, where the marginal constraints are enforced using Maximum Mean Discrepancy (MMD) regularization. Our study is motivated by the observation that existing works on UOT have mainly focused on regularization based on $\phi$-divergence (e.g., KL). The role of MMD, which belongs to the complementary family of integral probability metrics (IPMs), as a regularizer in the context of UOT seems to be less understood. Our main result is based on Fenchel duality, using which we are able to study the properties of MMD-regularized UOT (MMD-UOT). One interesting outcome of this duality result is that MMD-UOT induces a novel metric over measures, which again belongs to the IPM family. Further, we present finite-sample-based convex programs for estimating MMD-UOT and the corresponding barycenter. Under mild conditions, we prove that our convex-program-based estimators are consistent, and the estimation error decays at a rate $\mathcal{O}\left(m^{-\frac{1}{2}}\right)$, where $m$ is the number of samples from the source/target measures. Finally, we discuss how these convex programs can be solved efficiently using (accelerated) projected gradient descent. We conduct diverse experiments to show that MMD-UOT is a promising alternative to $\phi$-divergence-regularized UOT in machine learning applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI