Polymorphic-GAN: Generating Aligned Samples across Multiple Domains with Learned Morph Maps

要約

現代の画像生成モデルは、単一のドメインやオブジェクトのクラスで学習した場合、顕著なサンプル品質を示す。本研究では、複数の関連する領域から同時に整列した画像サンプルを生成することができる敵対的生成ネットワークを紹介する。我々は、様々なオブジェクトクラスが、ある幾何学的な差異を伴いながら共通の属性を持つという事実を利用する。我々は、全ての領域で共有される特徴を学習するPolymorphic-GANと、各領域に応じて共有特徴をモーフィングする領域ごとのモーフィング層を提案する。従来とは異なり、我々のフレームワークは、人間の顔、絵画や芸術の顔、複数の異なる動物の顔など、非常に多様な形状を持つ画像を同時にモデル化することが可能である。我々は、我々のモデルが全ての領域で整列したサンプルを生成することを示し、セグメンテーション転送やクロスドメイン画像編集などのアプリケーションや、低データ領域でのトレーニングに利用できることを示す。さらに、我々のPolymorphic-GANを画像間の翻訳タスクに適用し、ドメイン間の幾何学的な差異が大きい場合に、従来のアプローチを大きく上回ることができることを示す。

要約(オリジナル)

Modern image generative models show remarkable sample quality when trained on a single domain or class of objects. In this work, we introduce a generative adversarial network that can simultaneously generate aligned image samples from multiple related domains. We leverage the fact that a variety of object classes share common attributes, with certain geometric differences. We propose Polymorphic-GAN which learns shared features across all domains and a per-domain morph layer to morph shared features according to each domain. In contrast to previous works, our framework allows simultaneous modelling of images with highly varying geometries, such as images of human faces, painted and artistic faces, as well as multiple different animal faces. We demonstrate that our model produces aligned samples for all domains and show how it can be used for applications such as segmentation transfer and cross-domain image editing, as well as training in low-data regimes. Additionally, we apply our Polymorphic-GAN on image-to-image translation tasks and show that we can greatly surpass previous approaches in cases where the geometric differences between domains are large.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL