Smooth image-to-image translations with latent space interpolations

要約

マルチドメイン画像間変換（I2I）は、ソース画像をターゲットドメインのスタイルに合わせて変換することができます。このような変換の重要かつ望ましい特性の1つは、それぞれの潜像空間表現を線形補間したときに、ソース画像とターゲット画像の間で滑らかに変化することに相当する、その漸進性です。しかし，最新の手法では，領域間補間を行った際に，画像が急激に変化したり，非現実的な中間像が生成されるなど，性能に問題があることが多い．本論文では、この問題の背景には十分なドメイン間学習データの不足があることを指摘し、この問題を緩和するために2つの異なる正則化手法を提案する：潜在空間を圧縮する新しい収縮損失と、ドメイン間のスタイル表現を平坦化するMixupデータ拡張戦略である。また、既存のI2I翻訳メトリクスでは十分にカバーされていない、補間の滑らかさの度合いを定量的に評価するための新しいメトリクスを提案する。提案する評価指標と標準的な評価プロトコルの両方を用いて、我々の正則化技術が最先端のマルチドメインI2I翻訳を大きく改善できることを示す。本論文が採用された場合、我々のコードは一般に公開される予定である。

要約(オリジナル)

Multi-domain image-to-image (I2I) translations can transform a source image according to the style of a target domain. One important, desired characteristic of these transformations, is their graduality, which corresponds to a smooth change between the source and the target image when their respective latent-space representations are linearly interpolated. However, state-of-the-art methods usually perform poorly when evaluated using inter-domain interpolations, often producing abrupt changes in the appearance or non-realistic intermediate images. In this paper, we argue that one of the main reasons behind this problem is the lack of sufficient inter-domain training data and we propose two different regularization methods to alleviate this issue: a new shrinkage loss, which compacts the latent space, and a Mixup data-augmentation strategy, which flattens the style representations between domains. We also propose a new metric to quantitatively evaluate the degree of the interpolation smoothness, an aspect which is not sufficiently covered by the existing I2I translation metrics. Using both our proposed metric and standard evaluation protocols, we show that our regularization techniques can improve the state-of-the-art multi-domain I2I translations by a large margin. Our code will be made publicly available upon the acceptance of this article.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL