ColorizeDiffusion: Adjustable Sketch Colorization with Reference Image and Text

要約

拡散モデルは近年、非常に高品質な画像を生成するのに有効であることが実証され、現在では自動スケッチカラーライゼーションを含む幅広いアプリケーションで利用されている。ガイド付きスケッチ色付けのために多くの手法が開発されているが、画像プロンプトとスケッチ入力間の潜在的な衝突についての探求は限られており、結果の深刻な悪化につながる可能性がある。そこで本論文では、参照カラー画像を用いてスケッチ画像を着色することを目的とした、参照ベースのスケッチ着色モデルを徹底的に調査する。特に、参照ベースの拡散モデルの2つの重要な側面、すなわち、テキストベースと比較した場合の大きな欠点である「分布問題」と、ゼロショットの逐次テキストベース操作における能力を調査する。我々は、事前に訓練されたCLIP画像エンコーダからの異なる画像トークンを利用する画像ガイド付き潜在拡散モデルの2つのバリエーションを導入し、重み付けされたテキスト入力を用いて逐次的に結果を調整する対応する操作方法を提案する。我々は、質的・量的実験とユーザ調査を通して、我々のモデルの包括的な評価を行う。

要約(オリジナル)

Diffusion models have recently demonstrated their effectiveness in generating extremely high-quality images and are now utilized in a wide range of applications, including automatic sketch colorization. Although many methods have been developed for guided sketch colorization, there has been limited exploration of the potential conflicts between image prompts and sketch inputs, which can lead to severe deterioration in the results. Therefore, this paper exhaustively investigates reference-based sketch colorization models that aim to colorize sketch images using reference color images. We specifically investigate two critical aspects of reference-based diffusion models: the ‘distribution problem’, which is a major shortcoming compared to text-based counterparts, and the capability in zero-shot sequential text-based manipulation. We introduce two variations of an image-guided latent diffusion model utilizing different image tokens from the pre-trained CLIP image encoder and propose corresponding manipulation methods to adjust their results sequentially using weighted text inputs. We conduct comprehensive evaluations of our models through qualitative and quantitative experiments as well as a user study.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL