An Optimal Transport Perspective on Unpaired Image Super-Resolution

要約

実世界の画像の超​​解像 (SR) タスクにはペアのデータセットがないことが多く、教師あり技術の適用が制限されます。
その結果、タスクは通常、Generative Adversarial Networks (GAN) に基づく対になっていない手法によってアプローチされます。これは、コンテンツや ID の損失など、いくつかの正則化用語を伴う複雑なトレーニング損失をもたらします。
このようなモデルで発生する最適化問題を理論的に調査し、2 つの驚くべき観察結果を見つけました。
まず、学習した SR マップは常に最適なトランスポート (OT) マップです。
第二に、学習したマップに偏りがあることを理論的に証明し、経験的に示します。つまり、実際には低解像度の画像の分布を高解像度の画像に変換しません。
これらの調査結果に触発されて、知覚輸送コストの偏りのないOTマップを学習する、対になっていないSRのアルゴリズムを提案します。
既存の GAN ベースの代替手段とは異なり、私たちのアルゴリズムには、複雑なハイパーパラメーターの選択と追加の正則化の適用の必要性を減らす単純な最適化の目的があります。
同時に、大規模な対になっていない AIM19 データセットでほぼ最先端のパフォーマンスを提供します。

要約(オリジナル)

Real-world image super-resolution (SR) tasks often do not have paired datasets, which limits the application of supervised techniques. As a result, the tasks are usually approached by unpaired techniques based on Generative Adversarial Networks (GANs), which yield complex training losses with several regularization terms, e.g., content or identity losses. We theoretically investigate optimization problems which arise in such models and find two surprizing observations. First, the learned SR map is always an optimal transport (OT) map. Second, we theoretically prove and empirically show that the learned map is biased, i.e., it does not actually transform the distribution of low-resolution images to high-resolution ones. Inspired by these findings, we propose an algorithm for unpaired SR which learns an unbiased OT map for the perceptual transport cost. Unlike the existing GAN-based alternatives, our algorithm has a simple optimization objective reducing the need for complex hyperparameter selection and an application of additional regularizations. At the same time, it provides a nearly state-of-the-art performance on the large-scale unpaired AIM19 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google