Wavelet-based Unsupervised Label-to-Image Translation

要約

セマンティック イメージ合成 (SIS) は、イメージ間の変換のサブクラスであり、セマンティック レイアウトを使用してフォトリアリスティックなイメージを生成します。
最先端の条件付き敵対的生成ネットワーク (GAN) は、このタスクを達成するために膨大な量のペア データを必要としますが、一般的なペアになっていない画像から画像への変換フレームワークは、セマンティック レイアウトを色分けし、対応関係を学習するため、比較するとパフォーマンスが劣ります。
意味的な内容ではなく外観。
高品質に生成された画像はセマンティック レイアウトに分割されるべきであるという仮定から出発して、自己教師ありセグメンテーション損失と画像全体のウェーブレット ベースの識別を利用する、SIS の新しい教師なしパラダイム (USIS) を提案します。
さらに、実際の画像の高周波分布と一致させるために、ウェーブレット領域の新しい生成器アーキテクチャが提案されています。
私たちは 3 つの困難なデータセットで方法論をテストし、ペアになっているモデルとペアになっていないモデル間のパフォーマンスのギャップを埋める能力を実証します。

要約(オリジナル)

Semantic Image Synthesis (SIS) is a subclass of image-to-image translation where a semantic layout is used to generate a photorealistic image. State-of-the-art conditional Generative Adversarial Networks (GANs) need a huge amount of paired data to accomplish this task while generic unpaired image-to-image translation frameworks underperform in comparison, because they color-code semantic layouts and learn correspondences in appearance instead of semantic content. Starting from the assumption that a high quality generated image should be segmented back to its semantic layout, we propose a new Unsupervised paradigm for SIS (USIS) that makes use of a self-supervised segmentation loss and whole image wavelet based discrimination. Furthermore, in order to match the high-frequency distribution of real images, a novel generator architecture in the wavelet domain is proposed. We test our methodology on 3 challenging datasets and demonstrate its ability to bridge the performance gap between paired and unpaired models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google