MIDMs: Matching Interleaved Diffusion Models for Exemplar-based Image Translation

要約

インターリーブ拡散モデル (MIDMs) のマッチングと呼ばれる、模範ベースの画像変換の新しい方法を提示します。
このタスクの既存のメソッドのほとんどは、GAN ベースの照合後生成フレームワークとして定式化されました。
ただし、このフレームワークでは、スケッチと写真など、クロスドメインにわたるセマンティックマッチングの難しさによって引き起こされるマッチングエラーが生成ステップに容易に伝播し、結果が劣化する可能性があります。
GANの欠点を克服する拡散モデルの最近の成功に動機付けられて、これらの制限を克服するために拡散モデルを組み込みます。
具体的には、中間ワープをノイズ処理に繰り返し供給し、それをノイズ除去して変換された画像を生成することにより、潜在空間でクロスドメインマッチングと拡散ステップをインターリーブする拡散ベースのマッチングと生成フレームワークを定式化します。
さらに、拡散プロセスの信頼性を向上させるために、翻訳中に信頼できる領域のみを考慮するために、サイクル一貫性を使用して信頼性を意識したプロセスを設計します。
実験結果は、当社の MIDM が最先端の方法よりももっともらしい画像を生成することを示しています。

要約(オリジナル)

We present a novel method for exemplar-based image translation, called matching interleaved diffusion models (MIDMs). Most existing methods for this task were formulated as GAN-based matching-then-generation framework. However, in this framework, matching errors induced by the difficulty of semantic matching across cross-domain, e.g., sketch and photo, can be easily propagated to the generation step, which in turn leads to degenerated results. Motivated by the recent success of diffusion models overcoming the shortcomings of GANs, we incorporate the diffusion models to overcome these limitations. Specifically, we formulate a diffusion-based matching-and-generation framework that interleaves cross-domain matching and diffusion steps in the latent space by iteratively feeding the intermediate warp into the noising process and denoising it to generate a translated image. In addition, to improve the reliability of the diffusion process, we design a confidence-aware process using cycle-consistency to consider only confident regions during translation. Experimental results show that our MIDMs generate more plausible images than state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google