UniEdit-Flow: Unleashing Inversion and Editing in the Era of Flow Models

要約

フローマッチングモデルは、拡散モデルの強力な代替品として浮上していますが、拡散のために設計された既存の反転および編集方法は、しばしば効果がないか、適用できません。
フローモデルの直線で非交差する軌跡は、拡散ベースのアプローチに課題をもたらしますが、新しいソリューションのオープンな道ももたらします。
このホワイトペーパーでは、フローモデルでの反転と編集のための予測因子保証ベースのフレームワークを紹介します。
まず、正確な再構成のために設計された効果的な反転法であるUNI-INVを提案します。
これに基づいて、遅延インジェクションの概念をフローモデルに拡張し、地域を認識し、堅牢な画像編集アプローチであるUni-Editを導入します。
私たちの方法論は、チューニング、モデルに依存しない、効率的で効果的であり、編集に関係なく強力な保存を確保しながら、多様な編集を可能にします。
さまざまな生成モデルにわたる広範な実験は、低コストの設定であっても、UNI-INVおよびUNI-EDITの優位性と一般化可能性を示しています。
プロジェクトページ：https：//uniedit-flow.github.io/

要約(オリジナル)

Flow matching models have emerged as a strong alternative to diffusion models, but existing inversion and editing methods designed for diffusion are often ineffective or inapplicable to them. The straight-line, non-crossing trajectories of flow models pose challenges for diffusion-based approaches but also open avenues for novel solutions. In this paper, we introduce a predictor-corrector-based framework for inversion and editing in flow models. First, we propose Uni-Inv, an effective inversion method designed for accurate reconstruction. Building on this, we extend the concept of delayed injection to flow models and introduce Uni-Edit, a region-aware, robust image editing approach. Our methodology is tuning-free, model-agnostic, efficient, and effective, enabling diverse edits while ensuring strong preservation of edit-irrelevant regions. Extensive experiments across various generative models demonstrate the superiority and generalizability of Uni-Inv and Uni-Edit, even under low-cost settings. Project page: https://uniedit-flow.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google