StableDrag: Stable Dragging for Point-based Image Editing

要約

DragGANの登場以来、ポイントベースの画像編集が注目を集めています。
最近、DragDiffusion は、このドラッグ技術を拡散モデルに適用することで、生成品質をさらに推し進めています。
これらの大成功にも関わらず、このドラッグ方式には 2 つの大きな欠点があります。つまり、不正確なポイント追跡と不完全な動作監視であり、満足のいくドラッグ結果が得られない可能性があります。
これらの問題に取り組むために、私たちは、識別点追跡方法とモーション監視のための信頼度に基づく潜在強化戦略を設計することにより、StableDrag という造語で安定した正確なドラッグベースの編集フレームワークを構築します。
前者により、更新されたハンドル ポイントを正確に特定できるため、長距離操作の安定性が向上します。一方、後者は、すべての操作ステップにわたって最適化された潜在を可能な限り高品質に保証する役割を果たします。
これらのユニークな設計により、DragBench 上での広範な定性実験と定量評価を通じて、より安定したドラッグ性能を実現する StableDrag-GAN と StableDrag-Diff の 2 種類の画像編集モデルをインスタンス化します。

要約(オリジナル)

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google