On Partial Optimal Transport: Revising the Infeasibility of Sinkhorn and Efficient Gradient Methods

要約

この論文では、最大 $n$ のサポートを持つ 2 つの不均衡な測定間の部分最適トランスポート (POT) 問題と、色転送やドメイン適応などのさまざまな AI タスクにおけるその応用について研究します。
したがって、発生するアプリケーションでは問題のサイズがますます大きくなり、POT を高速に近似する必要があります。
私たちはまず、互換性のない丸め手順により、POT 用の最先端のシンクホーン アルゴリズムの実行不可能性を理論的および実験的に調査します。その結果、点群登録などの実世界のアプリケーションでの定性的パフォーマンスが低下します。
この目的を達成するために、POT の新しい丸めアルゴリズムを提案し、$\mathcal{\widetilde O}(n^2/\varepsilon^4)$ の計算量を修正した実行可能なシンクホーン手順を提供します。
私たちの丸めアルゴリズムでは、POT 問題を近似するための 2 つの一次法の開発も可能です。
最初のアルゴリズムである Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD) は、$\mathcal{\widetilde O}(n^{2.5}/\varepsilon)$ で POT 問題の $\varepsilon$ 近似解を見つけます。
$\varepsilon$ では改訂された Sinkhorn よりも優れています。
2 番目の方法である Dual Extrapolation は $\mathcal{\widetilde O}(n^2/\varepsilon)$ の計算量を達成しており、文献の中で最高のものです。
さらに、標準 OT と比較した POT の柔軟性と、2 つの限界分布がアンバランスである実際のアプリケーションにおけるアルゴリズムの実用性を実証します。

要約(オリジナル)

This paper studies the Partial Optimal Transport (POT) problem between two unbalanced measures with at most $n$ supports and its applications in various AI tasks such as color transfer or domain adaptation. There is hence the need for fast approximations of POT with increasingly large problem sizes in arising applications. We first theoretically and experimentally investigate the infeasibility of the state-of-the-art Sinkhorn algorithm for POT due to its incompatible rounding procedure, which consequently degrades its qualitative performance in real world applications like point-cloud registration. To this end, we propose a novel rounding algorithm for POT, and then provide a feasible Sinkhorn procedure with a revised computation complexity of $\mathcal{\widetilde O}(n^2/\varepsilon^4)$. Our rounding algorithm also permits the development of two first-order methods to approximate the POT problem. The first algorithm, Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD), finds an $\varepsilon$-approximate solution to the POT problem in $\mathcal{\widetilde O}(n^{2.5}/\varepsilon)$, which is better in $\varepsilon$ than revised Sinkhorn. The second method, Dual Extrapolation, achieves the computation complexity of $\mathcal{\widetilde O}(n^2/\varepsilon)$, thereby being the best in the literature. We further demonstrate the flexibility of POT compared to standard OT as well as the practicality of our algorithms on real applications where two marginal distributions are unbalanced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google