UTSGAN: Unseen Transition Suss GAN for Transition-Aware Image-to-image Translation

要約

タイトル：UTSGAN：観測されていない遷移に敏感な画像対画像変換のためのSuss GAN

要約：
– I2I変換において、入力画像と変換結果の間の一貫性を確保することは、高品質かつ望ましい出力を生成するために必要な重要な要件である。
– 以前のI2I手法は、出力一貫性に依存して、変換結果と目標出力の一貫性を維持し、この目標を達成してきた。
– しかし、複雑で観測されていない属性変更を処理することには限界があり、これに対処するために、観測されていない遷移によって引き起こされる未知の変換をモデリングするトランジション感覚的アプローチをI2I変換に導入する。
– さらに、遷移変数に定義された遷移一貫性を提案し、以前の研究では省略されていた未観測の変換に対する一貫性の正則化を可能にする。
– これらの洞察に基づき、UTSGAN(Unseen Transition Suss GAN)の提案を行い、遷移エンコーダーによって遷移に対する多様体を構築し、適切に設計された制約によってトレーニングと未観測の変換の両方で結果の一貫性と遷移の一貫性を調整する。
– さまざまなI2Iタスクに対して、UTSGANの性能を評価し、その有効性を実証した。

要約(オリジナル)

In the field of Image-to-Image (I2I) translation, ensuring consistency between input images and their translated results is a key requirement for producing high-quality and desirable outputs. Previous I2I methods have relied on result consistency, which enforces consistency between the translated results and the ground truth output, to achieve this goal. However, result consistency is limited in its ability to handle complex and unseen attribute changes in translation tasks. To address this issue, we introduce a transition-aware approach to I2I translation, where the data translation mapping is explicitly parameterized with a transition variable, allowing for the modelling of unobserved translations triggered by unseen transitions. Furthermore, we propose the use of transition consistency, defined on the transition variable, to enable regularization of consistency on unobserved translations, which is omitted in previous works. Based on these insights, we present Unseen Transition Suss GAN (UTSGAN), a generative framework that constructs a manifold for the transition with a stochastic transition encoder and coherently regularizes and generalizes result consistency and transition consistency on both training and unobserved translations with tailor-designed constraints. Extensive experiments on four different I2I tasks performed on five different datasets demonstrate the efficacy of our proposed UTSGAN in performing consistent translations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI