SDM: Spatial Diffusion Model for Large Hole Image Inpainting

要約

Generative adversarial networks (GAN) は画像処理において大きな成功を収めたが、大きな欠損領域への対処はまだ困難である。一方、自己回帰モデルやノイズ除去拡散モデルのような反復的なアルゴリズムは、適切な効果を得るためには大規模な計算機資源を導入する必要がある。これらの限界を克服するために、我々は、少数の反復処理により、画像全体に徐々に情報量の多い画素を提供し、推論効率を大きく向上させる新しい空間拡散モデル（SDM）を提案する。また、提案する確率的モデリングと空間拡散スキームの分離により、本手法は高品質な大穴補完を実現する。複数のベンチマークにおいて、最新の性能を達成しました。コードは https://github.com/fenglinglwb/SDM で公開されています。

要約(オリジナル)

Generative adversarial networks (GANs) have made great success in image inpainting yet still have difficulties tackling large missing regions. In contrast, iterative algorithms, such as autoregressive and denoising diffusion models, have to be deployed with massive computing resources for decent effect. To overcome the respective limitations, we present a novel spatial diffusion model (SDM) that uses a few iterations to gradually deliver informative pixels to the entire image, largely enhancing the inference efficiency. Also, thanks to the proposed decoupled probabilistic modeling and spatial diffusion scheme, our method achieves high-quality large-hole completion. On multiple benchmarks, we achieve new state-of-the-art performance. Code is released at https://github.com/fenglinglwb/SDM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL