FreeEnhance: Tuning-Free Image Enhancement via Content-Consistent Noising-and-Denoising Process

要約

テキストから画像への生成モデルの出現により、後処理として実行される画像強調により、生成される画像の視覚的な品質が大幅に向上することが認識されるようになりました。
それでも、生成された画像を強化するための拡散モデルの探索は簡単ではなく、元の画像の主要なコンテンツの視覚的な外観を維持しながら、豊富な詳細を繊細に強化する必要があります。
この論文では、既製の画像拡散モデルを使用してコンテンツと一貫した画像を強化するための新しいフレームワーク、つまり FreeEnhance を提案します。
技術的には、FreeEnhance は 2 段階のプロセスであり、最初に入力画像にランダム ノイズを追加し、次に事前にトレーニングされた画像拡散モデル (つまり、潜在拡散モデル) を利用してノイズを除去し、画像の詳細を強化します。
ノイズ段階では、FreeEnhance は元の画像の高周波パターン (エッジ、コーナーなど) を保存するために、より高い周波数の領域に明るいノイズを追加するように考案されています。
ノイズ除去段階では、予測されたノイズを正規化するための制約として 3 つのターゲット プロパティを提示し、高いアキュータンスと高い視覚的品質で画像を強化します。
HPDv2 データセットに対して行われた広範な実験により、FreeEnhance が定量的指標と人間の好みの点で最先端の画像強調モデルよりも優れていることが実証されました。
さらに注目すべきことに、FreeEnhance は、Magnific AI の商用画像強調ソリューションと比較して、人間の好みがより高いことも示しています。

要約(オリジナル)

The emergence of text-to-image generation models has led to the recognition that image enhancement, performed as post-processing, would significantly improve the visual quality of the generated images. Exploring diffusion models to enhance the generated images nevertheless is not trivial and necessitates to delicately enrich plentiful details while preserving the visual appearance of key content in the original image. In this paper, we propose a novel framework, namely FreeEnhance, for content-consistent image enhancement using the off-the-shelf image diffusion models. Technically, FreeEnhance is a two-stage process that firstly adds random noise to the input image and then capitalizes on a pre-trained image diffusion model (i.e., Latent Diffusion Models) to denoise and enhance the image details. In the noising stage, FreeEnhance is devised to add lighter noise to the region with higher frequency to preserve the high-frequent patterns (e.g., edge, corner) in the original image. In the denoising stage, we present three target properties as constraints to regularize the predicted noise, enhancing images with high acutance and high visual quality. Extensive experiments conducted on the HPDv2 dataset demonstrate that our FreeEnhance outperforms the state-of-the-art image enhancement models in terms of quantitative metrics and human preference. More remarkably, FreeEnhance also shows higher human preference compared to the commercial image enhancement solution of Magnific AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google