CustomSketching: Sketch Concept Extraction for Sketch-based Image Synthesis and Editing

要約

大規模なテキストから画像への (T2I) モデルのパーソナライゼーション技術により、ユーザーは参照画像から新しいコンセプトを組み込むことができます。
しかし、既存の方法は主にテキストによる説明に依存しているため、カスタマイズされた画像の制御が制限され、きめの細かい局所的な編集（形状、ポーズ、詳細など）をサポートできません。
本稿では、形状情報を捉えた等高線や質感を表現した流線など、そのような制御を容易にする直観的かつ多用途な表現としてスケッチを特定します。
これにより、スケッチ コンセプト抽出という新しいタスクを検討するようになりました。1 つ以上のスケッチと画像のペアが与えられた場合、画像とスケッチの間の対応関係を橋渡しする特別なスケッチ コンセプトを抽出することを目的としています。これにより、スケッチ ベースの画像合成と編集が可能になります。
きめの細かいレベル。
これを達成するために、新しいスケッチの概念を抽出するための 2 段階のフレームワークである CustomSketching を導入します。
オブジェクトは、一般的な形状の輪郭と内部の詳細の追加のストロークによって描画されることが多いことを考慮して、スケッチ描画に固有のあいまいさを軽減するためにデュアル スケッチ表現を導入します。
形状損失と正則化損失を採用して、最適化中の忠実性と編集可能性のバランスをとります。
広範な実験、ユーザー調査、およびいくつかのアプリケーションを通じて、私たちの方法が効果的であり、適応されたベースラインよりも優れていることを示しています。

要約(オリジナル)

Personalization techniques for large text-to-image (T2I) models allow users to incorporate new concepts from reference images. However, existing methods primarily rely on textual descriptions, leading to limited control over customized images and failing to support fine-grained and local editing (e.g., shape, pose, and details). In this paper, we identify sketches as an intuitive and versatile representation that can facilitate such control, e.g., contour lines capturing shape information and flow lines representing texture. This motivates us to explore a novel task of sketch concept extraction: given one or more sketch-image pairs, we aim to extract a special sketch concept that bridges the correspondence between the images and sketches, thus enabling sketch-based image synthesis and editing at a fine-grained level. To accomplish this, we introduce CustomSketching, a two-stage framework for extracting novel sketch concepts. Considering that an object can often be depicted by a contour for general shapes and additional strokes for internal details, we introduce a dual-sketch representation to reduce the inherent ambiguity in sketch depiction. We employ a shape loss and a regularization loss to balance fidelity and editability during optimization. Through extensive experiments, a user study, and several applications, we show our method is effective and superior to the adapted baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google