GoodDrag: Towards Good Practices for Drag Editing with Diffusion Models

要約

本稿では、ドラッグ編集の安定性と画質を向上させる新しいアプローチである GoodDrag を紹介します。
蓄積された摂動に悩まされ、しばしば歪みが生じる既存の手法とは異なり、GoodDrag は、拡散プロセス内でドラッグ操作とノイズ除去操作を交互に行う AlDD フレームワークを導入し、結果の忠実度を効果的に向上させます。
また、正確な操作とアーティファクトの削減のための開始点の元の特徴を維持する、情報を保存したモーション監視操作も提案します。
さらに、新しいデータセット Drag100 を導入し、大規模マルチモーダル モデルを利用して専用の品質評価指標であるドラッグ精度インデックスとジェミニ スコアを開発することにより、ドラッグ編集のベンチマークに貢献します。
広範な実験により、提案された GoodDrag が定性的にも定量的にも最先端のアプローチと比較して優れていることが実証されました。
プロジェクトページは https://gooddrag.github.io です。

要約(オリジナル)

In this paper, we introduce GoodDrag, a novel approach to improve the stability and image quality of drag editing. Unlike existing methods that struggle with accumulated perturbations and often result in distortions, GoodDrag introduces an AlDD framework that alternates between drag and denoising operations within the diffusion process, effectively improving the fidelity of the result. We also propose an information-preserving motion supervision operation that maintains the original features of the starting point for precise manipulation and artifact reduction. In addition, we contribute to the benchmarking of drag editing by introducing a new dataset, Drag100, and developing dedicated quality assessment metrics, Dragging Accuracy Index and Gemini Score, utilizing Large Multimodal Models. Extensive experiments demonstrate that the proposed GoodDrag compares favorably against the state-of-the-art approaches both qualitatively and quantitatively. The project page is https://gooddrag.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google