CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation

要約

模範解答に基づく画像翻訳とは、ある入力画像を条件としながら、希望するスタイルの画像を生成するタスクを指す。現在の手法の多くは、2つの入力領域間の対応関係を学習し、領域内の情報のマイニングを欠く。本論文では、2つのドメイン特徴を全体として捉え、ドメイン間対応とドメイン内の潜在的な情報の相互作用を学習することで、より一般的な学習手法を提案する。具体的には、ドメイン間およびドメイン内特徴量融合を学習するためのクロスドメイン特徴量融合変換器(CFFT)を提案する。CFFTに基づき、提案するCFFT-GANは模範解答に基づく画像翻訳に有効である。さらに、CFFT-GANはCFFTモジュールをカスケード接続することで、複数ドメインからの特徴を切り離し、融合することが可能である。我々は、いくつかの画像翻訳タスクに対して豊富な定量的・定性的実験を行い、その結果、我々のアプローチが最先端の手法と比較して優れていることを実証する。また、アブレーションの研究により、提案するCFFTの重要性を示している。応用実験の結果は、我々の手法の可能性を反映している。

要約(オリジナル)

Exemplar-based image translation refers to the task of generating images with the desired style, while conditioning on certain input image. Most of the current methods learn the correspondence between two input domains and lack the mining of information within the domains. In this paper, we propose a more general learning approach by considering two domain features as a whole and learning both inter-domain correspondence and intra-domain potential information interactions. Specifically, we propose a Cross-domain Feature Fusion Transformer (CFFT) to learn inter- and intra-domain feature fusion. Based on CFFT, the proposed CFFT-GAN works well on exemplar-based image translation. Moreover, CFFT-GAN is able to decouple and fuse features from multiple domains by cascading CFFT modules. We conduct rich quantitative and qualitative experiments on several image translation tasks, and the results demonstrate the superiority of our approach compared to state-of-the-art methods. Ablation studies show the importance of our proposed CFFT. Application experimental results reflect the potential of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL