Paint by Example: Exemplar-based Image Editing with Diffusion Models

要約

言語ガイドによる画像編集は、最近大きな成功を収めています。
この論文では、初めて、より正確な制御のための模範誘導画像編集を調査します。
この目標を達成するには、自己管理型トレーニングを活用してソース イメージと模範を解きほぐし、再編成します。
ただし、単純なアプローチでは、明らかな融合アーティファクトが発生します。
私たちはそれを注意深く分析し、情報のボトルネックと強力な拡張を提案して、模範的な画像を直接コピーして貼り付けるという簡単な解決策を回避します。
一方、編集プロセスの制御性を確保するために、模範画像の任意の形状マスクを設計し、分類子を使用しないガイダンスを活用して模範画像との類似性を高めます。
フレームワーク全体には、反復的な最適化を行わない拡散モデルの単一の転送が含まれます。
私たちの方法が印象的なパフォーマンスを達成し、忠実度の高い野生の画像の制御可能な編集を可能にすることを実証します。

要約(オリジナル)

Language-guided image editing has achieved great success recently. In this paper, for the first time, we investigate exemplar-guided image editing for more precise control. We achieve this goal by leveraging self-supervised training to disentangle and re-organize the source image and the exemplar. However, the naive approach will cause obvious fusing artifacts. We carefully analyze it and propose an information bottleneck and strong augmentations to avoid the trivial solution of directly copying and pasting the exemplar image. Meanwhile, to ensure the controllability of the editing process, we design an arbitrary shape mask for the exemplar image and leverage the classifier-free guidance to increase the similarity to the exemplar image. The whole framework involves a single forward of the diffusion model without any iterative optimization. We demonstrate that our method achieves an impressive performance and enables controllable editing on in-the-wild images with high fidelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google