ColorizeDiffusion: Adjustable Sketch Colorization with Reference Image and Text

要約

拡散モデルは最近、非常に高品質の画像を生成する効果があることが実証されており、現在ではスケッチの自動カラー化などの幅広いアプリケーションで利用されています。
ガイド付きスケッチの色付けについては多くの方法が開発されていますが、画像プロンプトとスケッチ入力の間の潜在的な競合の調査は限られており、結果の深刻な劣化につながる可能性があります。
そこで本論文では、参照カラー画像を用いてスケッチ画像を着色することを目的とした参照ベースのスケッチ着色モデルを徹底的に検討する。
我々は特に、参照ベースの拡散モデルの 2 つの重要な側面を調査します。それは、テキストベースのモデルと比較して大きな欠点である「分布問題」と、テキストベースのゼロショットシーケンシャル操作の機能です。
事前トレーニングされたCLIP画像エンコーダからの異なる画像トークンを利用した画像誘導型潜在拡散モデルの2つのバリエーションを導入し、重み付けされたテキスト入力を使用して結果を順次調整するための対応する操作方法を提案します。
定性的・定量的な実験やユーザー調査を通じて、モデルの総合的な評価を実施します。

要約(オリジナル)

Diffusion models have recently demonstrated their effectiveness in generating extremely high-quality images and are now utilized in a wide range of applications, including automatic sketch colorization. Although many methods have been developed for guided sketch colorization, there has been limited exploration of the potential conflicts between image prompts and sketch inputs, which can lead to severe deterioration in the results. Therefore, this paper exhaustively investigates reference-based sketch colorization models that aim to colorize sketch images using reference color images. We specifically investigate two critical aspects of reference-based diffusion models: the ‘distribution problem’, which is a major shortcoming compared to text-based counterparts, and the capability in zero-shot sequential text-based manipulation. We introduce two variations of an image-guided latent diffusion model utilizing different image tokens from the pre-trained CLIP image encoder and propose corresponding manipulation methods to adjust their results sequentially using weighted text inputs. We conduct comprehensive evaluations of our models through qualitative and quantitative experiments as well as a user study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google