Unifying conditional and unconditional semantic image synthesis with OCO-GAN

要約

生成画像モデルは、近年広く研究されています。
無条件の設定では、ラベルのない画像から周辺分布をモデル化します。
より多くの制御を可能にするために、画像内のオブジェクトの位置をジェネレーターに指示するセマンティック セグメンテーション マップで画像合成を調整できます。
これらの 2 つのタスクは密接に関連していますが、通常は別々に研究されます。
オプションで調整されたGANのOCO-GANを提案します。これは、セマンティックマップまたは潜在変数で直接調整できる共有画像合成ネットワークを使用して、両方のタスクを統一された方法で処理します。
共有識別器を使用してエンドツーエンドのアプローチで敵対的にトレーニングすることで、両方のタスク間の相乗効果を活用できます。
Cityscapes、COCO-Stuff、ADE20K データセットを限られたデータ、半教師ありおよび完全なデータ体制で実験し、優れたパフォーマンスを得て、すべての設定で条件付けの有無にかかわらず生成できる既存のハイブリッド モデルを改善します。
さらに、私たちの結果は、最先端の特殊な無条件および条件付きモデルよりも競争力があり、優れています。

要約(オリジナル)

Generative image models have been extensively studied in recent years. In the unconditional setting, they model the marginal distribution from unlabelled images. To allow for more control, image synthesis can be conditioned on semantic segmentation maps that instruct the generator the position of objects in the image. While these two tasks are intimately related, they are generally studied in isolation. We propose OCO-GAN, for Optionally COnditioned GAN, which addresses both tasks in a unified manner, with a shared image synthesis network that can be conditioned either on semantic maps or directly on latents. Trained adversarially in an end-to-end approach with a shared discriminator, we are able to leverage the synergy between both tasks. We experiment with Cityscapes, COCO-Stuff, ADE20K datasets in a limited data, semi-supervised and full data regime and obtain excellent performance, improving over existing hybrid models that can generate both with and without conditioning in all settings. Moreover, our results are competitive or better than state-of-the art specialised unconditional and conditional models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google