MMD-Regularized Unbalanced Optimal Transport

要約

最大平均不一致 (MMD) 正則化を使用して限界制約が強制される不平衡最適輸送 (UOT) 問題を研究します。
私たちの研究は、UOT に関する文献が $\phi$-divergence (KL divergence など) に基づく正則化に焦点を当てているという観察によって動機付けられています。
MMD の人気にもかかわらず、UOT のコンテキストにおけるレギュラライザーとしての MMD の役割はあまり理解されていないようです。
まず、MMD 正規化 UOT (MMD-UOT) の特定の双対を導出することから始めます。これは、いくつかの有用な特性を証明するのに役立ちます。
この双対性の結果の興味深い結果の 1 つは、MMD-UOT が新しいメトリクスを誘導することです。これは、Wasserstein のように地上メトリクスを持ち上げるだけでなく、MMD のようにサンプル単位で効率的に推定することもできます。
さらに、非離散測定を含む現実世界のアプリケーションの場合、指定された ($m$) サンプルでのみサポートされる輸送計画の推定量を提示します。
特定の条件下では、この有限サポートされた輸送計画の推定誤差も $\mathcal{O}(1/\sqrt{m})$ であることが証明されます。
私たちが知る限り、$\phi$-divergence 正則化 UOT では、次元の呪いから解放されるこのような誤差限界は知られていません。
最後に、加速勾配降下法を使用して提案された推定量を効率的に計算する方法について説明します。
私たちの実験では、MMD-UOT が、さまざまな機械学習アプリケーションにおいて、KL 正規化 UOT や MMD などの一般的なベースラインよりも一貫して優れていることが示されています。
私たちのコードは https://github.com/Piyushi-0/MMD-reg-OT で公開されています。

要約(オリジナル)

We study the unbalanced optimal transport (UOT) problem, where the marginal constraints are enforced using Maximum Mean Discrepancy (MMD) regularization. Our work is motivated by the observation that the literature on UOT is focused on regularization based on $\phi$-divergence (e.g., KL divergence). Despite the popularity of MMD, its role as a regularizer in the context of UOT seems less understood. We begin by deriving a specific dual of MMD-regularized UOT (MMD-UOT), which helps us prove several useful properties. One interesting outcome of this duality result is that MMD-UOT induces novel metrics, which not only lift the ground metric like the Wasserstein but are also sample-wise efficient to estimate like the MMD. Further, for real-world applications involving non-discrete measures, we present an estimator for the transport plan that is supported only on the given ($m$) samples. Under certain conditions, we prove that the estimation error with this finitely-supported transport plan is also $\mathcal{O}(1/\sqrt{m})$. As far as we know, such error bounds that are free from the curse of dimensionality are not known for $\phi$-divergence regularized UOT. Finally, we discuss how the proposed estimator can be computed efficiently using accelerated gradient descent. Our experiments show that MMD-UOT consistently outperforms popular baselines, including KL-regularized UOT and MMD, in diverse machine learning applications. Our codes are publicly available at https://github.com/Piyushi-0/MMD-reg-OT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google