ParGAN: Learning Real Parametrizable Transformations

要約

現在の画像間変換の手法は説得力のある結果をもたらすが、既存の機構はしばしば限定的で非直感的であるため、適用される変換の制御が困難である。我々は、サイクルコンシステントGANフレームワークを一般化し、シンプルで直感的な制御で画像変換を学習するParGANを提案する。提案する生成器は、画像と変換のパラメトリゼーションの両方を入力として受け取る。我々はこのネットワークを、結果が与えられたパラメトリックと一致することを保証しながら、入力画像の内容を保持するように訓練する。我々のアプローチはペアデータを必要とせず、複数のタスクとデータセットに渡って変換を学習することができる。我々は、注釈付きのパラメトリックを持たない不連続な画像領域において、我々のフレームワークがいかにスムーズな補間を行うことができるか、また、複数の変換を同時に学習することができるかを示している。

要約(オリジナル)

Current methods for image-to-image translation produce compelling results, however, the applied transformation is difficult to control, since existing mechanisms are often limited and non-intuitive. We propose ParGAN, a generalization of the cycle-consistent GAN framework to learn image transformations with simple and intuitive controls. The proposed generator takes as input both an image and a parametrization of the transformation. We train this network to preserve the content of the input image while ensuring that the result is consistent with the given parametrization. Our approach does not require paired data and can learn transformations across several tasks and datasets. We show how, with disjoint image domains with no annotated parametrization, our framework can create smooth interpolations as well as learn multiple transformations simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL