Smooth image-to-image translations with latent space interpolations

要約

マルチドメインの画像から画像 (I2I) への変換では、ターゲット ドメインのスタイルに従ってソース画像を変換できます。
これらの変換の重要な望ましい特性の 1 つは、その漸進性です。これは、それぞれの潜在空間表現が線形補間されたときに、ソース イメージとターゲット イメージの間の滑らかな変化に対応します。
ただし、最先端の方法は通常、ドメイン間補間を使用して評価するとパフォーマンスが低下し、外観が急激に変化したり、非現実的な中間画像が生成されることがよくあります。
この論文では、この問題の背後にある主な理由の 1 つは十分なドメイン間トレーニング データの不足であると主張し、この問題を軽減するために 2 つの異なる正則化方法を提案します。
ドメイン間のスタイル表現を平坦化するミックスアップ データ拡張戦略。
また、既存の I2I 変換メトリックでは十分にカバーされていない側面である、補間の滑らかさの程度を定量的に評価するための新しいメトリックを提案します。
提案されたメトリックと標準評価プロトコルの両方を使用して、正則化手法が最先端のマルチドメイン I2I 変換を大幅に改善できることを示します。
私たちのコードは、この記事が承認された時点で公開されます。

要約(オリジナル)

Multi-domain image-to-image (I2I) translations can transform a source image according to the style of a target domain. One important, desired characteristic of these transformations, is their graduality, which corresponds to a smooth change between the source and the target image when their respective latent-space representations are linearly interpolated. However, state-of-the-art methods usually perform poorly when evaluated using inter-domain interpolations, often producing abrupt changes in the appearance or non-realistic intermediate images. In this paper, we argue that one of the main reasons behind this problem is the lack of sufficient inter-domain training data and we propose two different regularization methods to alleviate this issue: a new shrinkage loss, which compacts the latent space, and a Mixup data-augmentation strategy, which flattens the style representations between domains. We also propose a new metric to quantitatively evaluate the degree of the interpolation smoothness, an aspect which is not sufficiently covered by the existing I2I translation metrics. Using both our proposed metric and standard evaluation protocols, we show that our regularization techniques can improve the state-of-the-art multi-domain I2I translations by a large margin. Our code will be made publicly available upon the acceptance of this article.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google