CoMoGAN: continuous model-guided image-to-image translation

要約

CoMoGANは、機能的多様体上のターゲットデータの教師なし再編成に依存する継続的なGANです。
さらに言えば、新しい機能インスタンス正規化レイヤーと残差メカニズムを導入します。これらは、ターゲットマニフォールド上の位置から画像コンテンツを解きほぐします。
プライベートモデル/翻訳機能を許可しながら、トレーニングをガイドするために、ナイーブな物理学に触発されたモデルに依存しています。
CoMoGANは任意のGANバックボーンで使用でき、タイムラプス生成などの周期的な画像変換や分離線形変換など、新しいタイプの画像変換を可能にします。
すべてのデータセットで、文献よりも優れています。
私たちのコードはhttp://github.com/cv-rits/CoMoGANで入手できます。

要約(オリジナル)

CoMoGAN is a continuous GAN relying on the unsupervised reorganization of the target data on a functional manifold. To that matter, we introduce a new Functional Instance Normalization layer and residual mechanism, which together disentangle image content from position on target manifold. We rely on naive physics-inspired models to guide the training while allowing private model/translations features. CoMoGAN can be used with any GAN backbone and allows new types of image translation, such as cyclic image translation like timelapse generation, or detached linear translation. On all datasets, it outperforms the literature. Our code is available at http://github.com/cv-rits/CoMoGAN .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google