DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing

要約

正確で制御可能な画像編集は、最近大きな注目を集めている難しい作業です。
特に、DragGAN は、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークです。
ただし、敵対的生成ネットワーク (GAN) に依存しているため、その汎用性は事前トレーニングされた GAN モデルの容量によって制限されます。
この研究では、この編集フレームワークを拡散モデルに拡張し、新しいアプローチ DragDiffusion を提案します。
大規模な事前トレーニング済み拡散モデルを利用することで、実画像と拡散生成画像の両方に対するインタラクティブなポイントベース編集の適用性が大幅に向上します。
私たちのアプローチには、正確な空間制御を達成するために拡散潜在力を最適化することが含まれます。
この最適化プロセスの監視信号は、豊富な意味論的および幾何学的な情報を含むことが知られている拡散モデルの UNet 特徴からのものです。
さらに、元の画像のアイデンティティをさらに保持するために、LoRA 微調整と Latent-MasaCtrl という 2 つの追加技術を導入します。
最後に、DragBench と呼ばれる挑戦的なベンチマーク データセットを紹介します。これは、インタラクティブなポイントベースの画像編集方法のパフォーマンスを評価する最初のベンチマークです。
幅広い困難なケース (複数のオブジェクトを含む画像、多様なオブジェクト カテゴリ、さまざまなスタイルなど) にわたる実験により、DragDiffusion の多用途性と汎用性が実証されています。
コード: https://github.com/Yujun-Shi/DragDiffusion。

要約(オリジナル)

Accurate and controllable image editing is a challenging task that has attracted significant attention recently. Notably, DragGAN is an interactive point-based image editing framework that achieves impressive editing results with pixel-level precision. However, due to its reliance on generative adversarial networks (GANs), its generality is limited by the capacity of pretrained GAN models. In this work, we extend this editing framework to diffusion models and propose a novel approach DragDiffusion. By harnessing large-scale pretrained diffusion models, we greatly enhance the applicability of interactive point-based editing on both real and diffusion-generated images. Our approach involves optimizing the diffusion latents to achieve precise spatial control. The supervision signal of this optimization process is from the diffusion model’s UNet features, which are known to contain rich semantic and geometric information. Moreover, we introduce two additional techniques, namely LoRA fine-tuning and latent-MasaCtrl, to further preserve the identity of the original image. Lastly, we present a challenging benchmark dataset called DragBench — the first benchmark to evaluate the performance of interactive point-based image editing methods. Experiments across a wide range of challenging cases (e.g., images with multiple objects, diverse object categories, various styles, etc.) demonstrate the versatility and generality of DragDiffusion. Code: https://github.com/Yujun-Shi/DragDiffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google