EGSDE: Unpaired Image-to-Image Translation via Energy-Guided Stochastic Differential Equations

要約

スコアベースの拡散モデル (SBDM) は、対になっていない画像から画像への変換 (I2I) で SOTA FID の結果を達成しました。
ただし、既存の方法ではソース ドメインのトレーニング データが完全に無視されており、ペアになっていない I2I のソリューションが最適化されていないことに気付きました。
この目的のために、ソース ドメインとターゲット ドメインの両方で事前トレーニングされたエネルギー関数を使用して、現実的で忠実な不対 I2I の事前トレーニング済み SDE の推論プロセスをガイドする、エネルギー ガイド付き確率微分方程式 (EGSDE) を提案します。
2 つの特徴抽出器に基づいて、エネルギー関数を慎重に設計し、転送された画像がドメインに依存しない特徴を保持し、ドメイン固有の特徴を破棄するようにします。
さらに、3 人の専門家 (SDE と 2 つの特徴抽出器に対応) のそれぞれが忠実性またはリアリズムにのみ貢献する、専門家の製品としての EGSDE の別の説明を提供します。
経験的に、EGSDE を、広く採用されている 3 つの対になっていない I2I タスクのベースラインの大規模なファミリと、4 つのメトリックの下で比較します。
EGSDE は、ほぼすべての設定で既存の SBDM ベースの方法より一貫して優れているだけでなく、忠実なパフォーマンスを損なうことなく SOTA リアリズムの結果を達成します。
さらに、EGSDE はリアリズムと忠実度の間の柔軟なトレードオフを可能にし、ハイパーパラメーターを調整することでリアリズムの結果をさらに改善します (たとえば、AFHQ の Cat to Dog では 51.04 の FID、Wild to Dog では 50.43 の FID)。
コードは https://github.com/ML-GSAI/EGSDE で入手できます。

要約(オリジナル)

Score-based diffusion models (SBDMs) have achieved the SOTA FID results in unpaired image-to-image translation (I2I). However, we notice that existing methods totally ignore the training data in the source domain, leading to sub-optimal solutions for unpaired I2I. To this end, we propose energy-guided stochastic differential equations (EGSDE) that employs an energy function pretrained on both the source and target domains to guide the inference process of a pretrained SDE for realistic and faithful unpaired I2I. Building upon two feature extractors, we carefully design the energy function such that it encourages the transferred image to preserve the domain-independent features and discard domain-specific ones. Further, we provide an alternative explanation of the EGSDE as a product of experts, where each of the three experts (corresponding to the SDE and two feature extractors) solely contributes to faithfulness or realism. Empirically, we compare EGSDE to a large family of baselines on three widely-adopted unpaired I2I tasks under four metrics. EGSDE not only consistently outperforms existing SBDMs-based methods in almost all settings but also achieves the SOTA realism results without harming the faithful performance. Furthermore, EGSDE allows for flexible trade-offs between realism and faithfulness and we improve the realism results further (e.g., FID of 51.04 in Cat to Dog and FID of 50.43 in Wild to Dog on AFHQ) by tuning hyper-parameters. The code is available at https://github.com/ML-GSAI/EGSDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google