Towards Coherent Image Inpainting Using Denoising Diffusion Implicit Models

要約

タイトル: ノイズ除去拡散暗黙モデルを利用した整合性のある画像インペインティングに向けて

要約:
– 画像インペインティングとは、一部の参照画像から完全で自然な画像を生成する課題を指す。
– 最近は、固定された拡散モデルを使用したインペインティング問題への研究が増えている。
– これらのアプローチは、通常、生成された中間または最終画像の明示された領域を参照画像またはその変種の明示された領域で直接置き換えることで行われる。
– しかし、未明示の領域が直接的に文脈に合わせて変更されないため、明示された領域と未明示の領域の間に不整合性が生じる。
– 不整合性の問題に対処するために、厳密なベイジアンフレームワークを導入する方法もあるが、事後分布を計算する際の近似誤差が生成された画像と参照画像の不一致を導くことがある。
– 本論文では、COPAINTを提案し、不一致を導入することなく、一貫して全体の画像をインペインティングすることができる。
– COPAINTは、ベイジアンフレームワークを使用して、明示された領域と未明示の領域の両方を一緒に変更するが、近似誤差が減少し、参照画像との不一致を強く罰するように事後分布を近似する方法を用いる。
– 実験により、COPAINTが既存の拡散ベースの方法よりも目的や主観的メトリックの両方で優れた性能を発揮することが確認されている。コードはhttps://github.com/UCSB-NLP-Chang/CoPaint/で入手可能です。

要約(オリジナル)

Image inpainting refers to the task of generating a complete, natural image based on a partially revealed reference image. Recently, many research interests have been focused on addressing this problem using fixed diffusion models. These approaches typically directly replace the revealed region of the intermediate or final generated images with that of the reference image or its variants. However, since the unrevealed regions are not directly modified to match the context, it results in incoherence between revealed and unrevealed regions. To address the incoherence problem, a small number of methods introduce a rigorous Bayesian framework, but they tend to introduce mismatches between the generated and the reference images due to the approximation errors in computing the posterior distributions. In this paper, we propose COPAINT, which can coherently inpaint the whole image without introducing mismatches. COPAINT also uses the Bayesian framework to jointly modify both revealed and unrevealed regions, but approximates the posterior distribution in a way that allows the errors to gradually drop to zero throughout the denoising steps, thus strongly penalizing any mismatches with the reference image. Our experiments verify that COPAINT can outperform the existing diffusion-based methods under both objective and subjective metrics. The codes are available at https://github.com/UCSB-NLP-Chang/CoPaint/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI