SketchFFusion: Sketch-guided image editing with diffusion model

要約

スケッチガイド付き画像編集は、未編集領域の元の状態を維持しながら、ユーザーが提供したスケッチ情報に基づいて画像を局所的に微調整することを目的としています。
人間のスケッチを取得するコストが高いため、これまでの作品は主にスケッチの代わりにエッジ マップに依存していましたが、スケッチにはより豊富な構造情報が含まれています。
この論文では、画像の主要な輪郭を保存し、ユーザーが描いた実際のスケッチ スタイルに厳密に従うことができるスケッチ生成スキームを提案します。
同時に、現在の画像編集方法は、画像の歪み、トレーニングコスト、スケッチの細部の損失などの課題に直面することがよくあります。
これらの制限に対処するために、スケッチ構造ベクトルに基づいた条件付き拡散モデル (SketchFFusion) を提案します。
私たちはモデルの生成パフォーマンスを評価し、既存の手法よりも優れていることを実証します。

要約(オリジナル)

Sketch-guided image editing aims to achieve local fine-tuning of the image based on the sketch information provided by the user, while maintaining the original status of the unedited areas. Due to the high cost of acquiring human sketches, previous works mostly relied on edge maps as a substitute for sketches, but sketches possess more rich structural information. In this paper, we propose a sketch generation scheme that can preserve the main contours of an image and closely adhere to the actual sketch style drawn by the user. Simultaneously, current image editing methods often face challenges such as image distortion, training cost, and loss of fine details in the sketch. To address these limitations, We propose a conditional diffusion model (SketchFFusion) based on the sketch structure vector. We evaluate the generative performance of our model and demonstrate that it outperforms existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google