Intelligent Painter: Picture Composition With Resampling Diffusion Model

要約

自分は知的な画家になれると思ったことはありませんか?
これは、いくつかの予想されるオブジェクトを念頭に置いて、または望ましいシーンで絵を描くことができることを意味します.
これは、特定のオブジェクトの位置を特定できない通常の修復アプローチとは異なります。
この論文では、明示的なヒントが与えられると、人の想像上のシーンを一度に生成するインテリジェントな画家を紹介します。
特定の場所に明示的なランドマーク入力を注入することにより、調和した風景画像をインテリジェントに構成するためのノイズ除去拡散確率モデル (DDPM) のリサンプリング戦略を提案します。
拡散特性を利用することで、効率的にリサンプリングしてリアルな画像を生成します。
実験結果は、リサンプリング方法が生成された出力の意味的な意味を効率的に支持し、ぼやけた出力を生成しないことを示しています。
画質評価の定量分析は、最先端の方法と比較して、私たちの方法がより高い知覚品質の画像を生成することを示しています。

要約(オリジナル)

Have you ever thought that you can be an intelligent painter? This means that you can paint a picture with a few expected objects in mind, or with a desirable scene. This is different from normal inpainting approaches for which the location of specific objects cannot be determined. In this paper, we present an intelligent painter that generate a person’s imaginary scene in one go, given explicit hints. We propose a resampling strategy for Denoising Diffusion Probabilistic Model (DDPM) to intelligently compose harmonized scenery images by injecting explicit landmark inputs at specific locations. By exploiting the diffusion property, we resample efficiently to produce realistic images. Experimental results show that our resampling method favors the semantic meaning of the generated output efficiently and generate less blurry output. Quantitative analysis of image quality assessment shows that our method produces higher perceptual quality images compared with the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google