FlexEdit: Flexible and Controllable Diffusion-based Object-centric Image Editing

要約

私たちの取り組みは、形状の不一致による非現実的な結果や、オブジェクトの置換または挿入における制御の制限など、オブジェクト中心の編集問題に対するこれまでのアプローチで見られた制限に対処しています。
この目的を達成するために、柔軟で制御可能なオブジェクト編集フレームワークである FlexEdit を導入します。FlexEdit では、FlexEdit ブロックを使用してノイズ除去ステップごとに潜在値を繰り返し調整します。
最初に、指定されたオブジェクトの制約に合わせてテスト時に潜在を最適化します。
次に、私たちのフレームワークは、ノイズ除去中に自動的に抽出される適応マスクを採用して、新しいコンテンツをターゲット画像にシームレスにブレンドしながら背景を保護します。
私たちは、さまざまなオブジェクト編集タスクにおける FlexEdit の多用途性を実証し、オブジェクト中心の編集用に設計された新しい評価指標とともに、実際の画像と合成画像の両方からのサンプルを使用した評価テスト スイートを厳選しました。
私たちはさまざまな編集シナリオで広範な実験を実施し、最近の高度なテキストガイドによる画像編集方法に対する編集フレームワークの優位性を実証しています。
私たちのプロジェクト ページは https://flex-edit.github.io/ で公開されています。

要約(オリジナル)

Our work addresses limitations seen in previous approaches for object-centric editing problems, such as unrealistic results due to shape discrepancies and limited control in object replacement or insertion. To this end, we introduce FlexEdit, a flexible and controllable editing framework for objects where we iteratively adjust latents at each denoising step using our FlexEdit block. Initially, we optimize latents at test time to align with specified object constraints. Then, our framework employs an adaptive mask, automatically extracted during denoising, to protect the background while seamlessly blending new content into the target image. We demonstrate the versatility of FlexEdit in various object editing tasks and curate an evaluation test suite with samples from both real and synthetic images, along with novel evaluation metrics designed for object-centric editing. We conduct extensive experiments on different editing scenarios, demonstrating the superiority of our editing framework over recent advanced text-guided image editing methods. Our project page is published at https://flex-edit.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google