ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport

要約

我々は、共役ポテンシャルの特定の正則化を通じて最適な輸送計画を正確かつ効率的に推定できる、Neural Optimal Transport (NOT) トレーニング手順の新しい拡張機能を紹介します。
既存の NOT ソルバーの主なボトルネックは、共役演算子のほぼ正確な近似値 (つまり、c 変換) を見つける手順に関連しています。これは、最大目標に対する最適化または計算量の多い微調整によって行われます。
初期の近似予測の。
我々は、学習双対ポテンシャルに拘束条件を強制する予期正則化の形で、理論的に正当化された新しい損失を提案することで、両方の問題を解決します。
このような正則化により、可能な共役ポテンシャルの分布に対する上限推定が提供され、学習が安定し、追加の大規模な微調整の必要性がなくなります。
私たちは、Expectile- Regularized Neural Optimal Transport (ENOT) と呼ばれる手法の効率性を正式に正当化します。
ENOT は、Wasserstein-2 ベンチマーク タスクに対する以前の最先端のアプローチよりも大幅に優れています (品質では最大 3 倍、実行時間では最大 10 倍の改善)。

要約(オリジナル)

We present a new extension for Neural Optimal Transport (NOT) training procedure, capable of accurately and efficiently estimating optimal transportation plan via specific regularisation on conjugate potentials. The main bottleneck of existing NOT solvers is associated with the procedure of finding a near-exact approximation of the conjugate operator (i.e., the c-transform), which is done either by optimizing over maximin objectives or by the computationally-intensive fine-tuning of the initial approximated prediction. We resolve both issues by proposing a new, theoretically justified loss in the form of expectile regularization that enforces binding conditions on the learning dual potentials. Such a regularization provides the upper bound estimation over the distribution of possible conjugate potentials and makes the learning stable, eliminating the need for additional extensive finetuning. We formally justify the efficiency of our method, called Expectile-Regularised Neural Optimal Transport (ENOT). ENOT outperforms previous state-of-the-art approaches on the Wasserstein-2 benchmark tasks by a large margin (up to a 3-fold improvement in quality and up to a 10-fold improvement in runtime).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google