FreeDrag: Point Tracking is Not You Need for Interactive Point-based Image Editing

要約

画像編集の複雑で多様な要求に応えるには、画像コンテンツの正確かつ柔軟な操作が不可欠です。
最近、DragGAN はポイントベースの操作を通じて印象的な編集結果を達成しました。
しかし、DragGAN は、目的のハンドル ポイントを効果的に追跡することが困難であるミス トラッキングや、追跡されたポイントがハンドル ポイントに類似する他の領域内に位置する曖昧なトラッキングに悩まされていることが観察されています。
上記の問題に対処するために、DragGAN のポイント指向の方法論内でポイント追跡の負担を軽減する機能指向のアプローチを採用する FreeDrag を提案します。
FreeDrag には、アダプティブ テンプレート機能、ライン検索、およびファジー ローカリゼーション技術が組み込まれており、安定した効率的なポイントベースの画像編集を実行します。
広範な実験により、私たちの方法が DragGAN よりも優れており、同様の構造、細かいディテール、またはマルチポイント ターゲットの下での難しいシナリオでも、安定したポイントベースの編集が可能であることが実証されています。

要約(オリジナル)

To serve the intricate and varied demands of image editing, precise and flexible manipulation of image content is indispensable. Recently, DragGAN has achieved impressive editing results through point-based manipulation. However, we have observed that DragGAN struggles with miss tracking, where DragGAN encounters difficulty in effectively tracking the desired handle points, and ambiguous tracking, where the tracked points are situated within other regions that bear resemblance to the handle points. To deal with the above issues, we propose FreeDrag, which adopts a feature-oriented approach to free the burden on point tracking within the point-oriented methodology of DragGAN. The FreeDrag incorporates adaptive template features, line search, and fuzzy localization techniques to perform stable and efficient point-based image editing. Extensive experiments demonstrate that our method is superior to the DragGAN and enables stable point-based editing in challenging scenarios with similar structures, fine details, or under multi-point targets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google