SketchFFusion: Sketch-guided image editing with diffusion model

要約

タイトル：SketchFFusion: Sketch-guided image editing with diffusion model

要約：

– Sketch-guided image editingは、ユーザーが提供するスケッチ情報に基づいて画像の局所的な微調整を行い、編集されていない領域の元の状態を維持することを目的としています。
– 以前の研究は、人間のスケッチを取得するコストが高いため、エッジマップをスケッチの代替として使用していましたが、スケッチはより豊かな構造情報を持っています。
– 本論文では、画像の主要な輪郭を保持し、ユーザーが描いた実際のスケッチスタイルに密接に従うスケッチ生成スキームを提案しています。
– 同時に、現在の画像編集方法は、画像の歪み、トレーニングコスト、スケッチの細部の喪失などの課題に直面しています。
– これらの制限に対処するために、本論文では、スケッチ構造ベクトルに基づく条件付き拡散モデル（SketchFFusion）を提案しています。
– 私たちは、当社のモデルの生成性能を評価し、既存の方法よりも優れていることを示しました。

要約(オリジナル)

Sketch-guided image editing aims to achieve local fine-tuning of the image based on the sketch information provided by the user, while maintaining the original status of the unedited areas. Due to the high cost of acquiring human sketches, previous works mostly relied on edge maps as a substitute for sketches, but sketches possess more rich structural information. In this paper, we propose a sketch generation scheme that can preserve the main contours of an image and closely adhere to the actual sketch style drawn by the user. Simultaneously, current image editing methods often face challenges such as image distortion, training cost, and loss of fine details in the sketch. To address these limitations, We propose a conditional diffusion model (SketchFFusion) based on the sketch structure vector. We evaluate the generative performance of our model and demonstrate that it outperforms existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI