Energy-guided Entropic Neural Optimal Transport

要約

エネルギーベース モデル (EBM) は、機械学習コミュニティでは何十年も前から知られています。
1990 年代に遡り、EBM に特化した独創的な研究が行われて以来、エネルギー ポテンシャル (非正規化尤度関数) を利用して生成モデリング問題を解決する効率的な方法が数多く存在しました。
対照的に、最適トランスポート (OT)、特にニューラル OT ソルバーの領域は、ほとんど調査されておらず、最近の研究はほとんどありません (OT を損失関数として利用し、OT マップ自体をモデル化しない WGAN ベースのアプローチを除く)。
。
私たちの仕事では、EBM とエントロピー正則化 OT の間のギャップを埋めます。
我々は、後者を強化するために前者の最近の開発と技術的改善を活用することを可能にする新しい方法論を提示します。
理論的な観点から、私たちの手法の一般化限界を証明します。
実際に、おもちゃの 2D および画像領域での適用性を検証します。
スケーラビリティを示すために、事前トレーニング済みの StyleGAN を使用してメソッドを強化し、それを高解像度の AFHQ $512\times 512$ のペアになっていない I2I 変換に適用します。
簡素化のため、エネルギー誘導型エントロピック OT アプローチのバックボーンとして単純な短期および長期 EBM を選択し、より洗練された EBM の適用は将来の研究に残しておきます。
私たちのコードは公開されています。

要約(オリジナル)

Energy-based models (EBMs) are known in the Machine Learning community for decades. Since the seminal works devoted to EBMs dating back to the noughties, there have been a lot of efficient methods which solve the generative modelling problem by means of energy potentials (unnormalized likelihood functions). In contrast, the realm of Optimal Transport (OT) and, in particular, neural OT solvers is much less explored and limited by few recent works (excluding WGAN-based approaches which utilize OT as a loss function and do not model OT maps themselves). In our work, we bridge the gap between EBMs and Entropy-regularized OT. We present a novel methodology which allows utilizing the recent developments and technical improvements of the former in order to enrich the latter. From the theoretical perspective, we prove generalization bounds for our technique. In practice, we validate its applicability in toy 2D and image domains. To showcase the scalability, we empower our method with a pre-trained StyleGAN and apply it to high-res AFHQ $512\times 512$ unpaired I2I translation. For simplicity, we choose simple short- and long-run EBMs as a backbone of our Energy-guided Entropic OT approach, leaving the application of more sophisticated EBMs for future research. Our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google