RePaint: Inpainting using Denoising Diffusion Probabilistic Models

要約

自由形式の修復は、任意のバイナリマスクで指定された領域の画像に新しいコンテンツを追加するタスクです。
ほとんどの既存のアプローチは、マスクの特定の分布をトレーニングします。これにより、一般化機能が見えないマスクタイプに制限されます。
さらに、ピクセル単位および知覚的損失を伴うトレーニングは、意味的に意味のある生成ではなく、欠落している領域への単純なテクスチャ拡張につながることがよくあります。
この作業では、RePaint：極端なマスクにも適用できるノイズ除去拡散確率モデル（DDPM）ベースの修復アプローチを提案します。
事前にトレーニングされた無条件のDDPMを生成的事前設定として使用します。
生成プロセスを調整するために、指定された画像情報を使用してマスクされていない領域をサンプリングすることによって、逆拡散の反復を変更するだけです。
この手法では、元のDDPMネットワーク自体を変更または調整しないため、このモデルは、あらゆる修復フォームに対して高品質で多様な出力画像を生成します。
標準マスクと極端なマスクを使用して、顔と汎用画像の両方の修復方法を検証します。
RePaintは、最先端の自己回帰よりも優れており、GANは、6つのマスク分布のうち少なくとも5つに対してアプローチします。
Githubリポジトリ：git.io/RePaint

要約(オリジナル)

Free-form inpainting is the task of adding new content to an image in the regions specified by an arbitrary binary mask. Most existing approaches train for a certain distribution of masks, which limits their generalization capabilities to unseen mask types. Furthermore, training with pixel-wise and perceptual losses often leads to simple textural extensions towards the missing areas instead of semantically meaningful generation. In this work, we propose RePaint: A Denoising Diffusion Probabilistic Model (DDPM) based inpainting approach that is applicable to even extreme masks. We employ a pretrained unconditional DDPM as the generative prior. To condition the generation process, we only alter the reverse diffusion iterations by sampling the unmasked regions using the given image information. Since this technique does not modify or condition the original DDPM network itself, the model produces high-quality and diverse output images for any inpainting form. We validate our method for both faces and general-purpose image inpainting using standard and extreme masks. RePaint outperforms state-of-the-art Autoregressive, and GAN approaches for at least five out of six mask distributions. Github Repository: git.io/RePaint

arxiv情報

提供元, 利用サービス

arxiv.jp, Google