ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport

要約

我々は、デュアルカントロビッチポテンシャルの特定の正則化を介して最適な輸送計画を正確かつ効率的に推定できる、神経最適輸送（NOT）トレーニング手順の新しいアプローチを提案します。
既存の NOT ソルバーの主なボトルネックは、共役演算子のほぼ正確な近似 (つまり、c 変換) を見つける手順に関連しています。これは、非凸の最大最小目標を最適化するか、計算上のいずれかによって行われます。
初期の近似予測を集中的に微調整します。
我々は、二重ポテンシャルの学習プロセスに拘束条件を強制する期待正則化の形で、理論的に正当化された新しい損失を提案することで、両方の問題を解決します。
このような正則化により、可能な共役ポテンシャルの分布に対する上限推定が提供され、学習が安定し、追加の大規模な微調整の必要性が完全に排除されます。
Expectile- Regularized Neural Optimal Transport (ENOT) と呼ばれる提案された手法は、確立された Wasserstein-2 ベンチマーク タスクに対する以前の最先端のアプローチを大幅に上回ります (品質は最大 3 倍、品質は最大 1 倍向上します)。
実行時間が 10 倍向上しました)。
さらに、画像生成などのさまざまなタスクでさまざまなコスト関数に対する ENOT のパフォーマンスを示し、提案されたアルゴリズムの堅牢性を示します。

要約(オリジナル)

We present a new approach for Neural Optimal Transport (NOT) training procedure, capable of accurately and efficiently estimating optimal transportation plan via specific regularization on dual Kantorovich potentials. The main bottleneck of existing NOT solvers is associated with the procedure of finding a near-exact approximation of the conjugate operator (i.e., the c-transform), which is done either by optimizing over non-convex max-min objectives or by the computationally intensive fine-tuning of the initial approximated prediction. We resolve both issues by proposing a new, theoretically justified loss in the form of expectile regularisation which enforces binding conditions on the learning process of dual potentials. Such a regularization provides the upper bound estimation over the distribution of possible conjugate potentials and makes the learning stable, completely eliminating the need for additional extensive fine-tuning. Proposed method, called Expectile-Regularised Neural Optimal Transport (ENOT), outperforms previous state-of-the-art approaches on the established Wasserstein-2 benchmark tasks by a large margin (up to a 3-fold improvement in quality and up to a 10-fold improvement in runtime). Moreover, we showcase performance of ENOT for varying cost functions on different tasks such as image generation, showing robustness of proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google