Progressive Entropic Optimal Transport Solvers

要約

最適トランスポート (OT) は、データセットを再調整するための理論的および計算ツールを提供することにより、機械学習に大きな影響を与えました。
これに関連して、$\mathbb{R}^d$ にサイズ $n$ と $m$ の 2 つの大きな点群があるとすると、エントロピック OT (EOT) ソルバーが、カントロビッチ問題を解決して出力するための最も信頼できるツールとして浮上しました。
$n\times m$ 結合行列、またはモンジュ問題を解き、ベクトル値のプッシュフォワード マップを学習します。
EOT カップリング/マップの堅牢性により、実際のアプリケーションでは EOT ソルバーが最適な選択肢となりますが、小さいながらも影響力のあるハイパーパラメーターのセット、特に遍在するエントロピー正則化強度 $\varepsilon$ のために、EOT ソルバーの調整は依然として困難です。
$\varepsilon$ の設定は、計算速度、統計的パフォーマンス、一般化、バイアスなどのさまざまなパフォーマンス メトリックに同時に影響を与えるため、難しい場合があります。
この研究では、計画と輸送マップの両方を推定できる新しいクラスの EOT ソルバー (ProgOT) を提案します。
私たちは、時間離散化を使用して質量変位を分割し、動的 ​​OT 定式化からインスピレーションを借用し、適切にスケジュールされたパラメーターを使用して EOT を使用してこれらの各ステップを完了することにより、EOT 解の計算を最適化するいくつかの機会を利用します。
私たちは、ProgOT が大規模なカップリングを計算する際に、標準ソルバーに代わる高速かつ堅牢な代替手段であり、ニューラル ネットワーク ベースのアプローチよりも優れたパフォーマンスを発揮することを実証する実験的証拠を提供します。
また、最適な輸送マップを推定するためのアプローチの統計的一貫性も証明します。

要約(オリジナル)

Optimal transport (OT) has profoundly impacted machine learning by providing theoretical and computational tools to realign datasets. In this context, given two large point clouds of sizes $n$ and $m$ in $\mathbb{R}^d$, entropic OT (EOT) solvers have emerged as the most reliable tool to either solve the Kantorovich problem and output a $n\times m$ coupling matrix, or to solve the Monge problem and learn a vector-valued push-forward map. While the robustness of EOT couplings/maps makes them a go-to choice in practical applications, EOT solvers remain difficult to tune because of a small but influential set of hyperparameters, notably the omnipresent entropic regularization strength $\varepsilon$. Setting $\varepsilon$ can be difficult, as it simultaneously impacts various performance metrics, such as compute speed, statistical performance, generalization, and bias. In this work, we propose a new class of EOT solvers (ProgOT), that can estimate both plans and transport maps. We take advantage of several opportunities to optimize the computation of EOT solutions by dividing mass displacement using a time discretization, borrowing inspiration from dynamic OT formulations, and conquering each of these steps using EOT with properly scheduled parameters. We provide experimental evidence demonstrating that ProgOT is a faster and more robust alternative to standard solvers when computing couplings at large scales, even outperforming neural network-based approaches. We also prove statistical consistency of our approach for estimating optimal transport maps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google