Edicho: Consistent Image Editing in the Wild

要約

ニーズが実証されているため、実際の画像全体で一貫した編集を行うことは、オブジェクトのポーズ、照明条件、撮影環境などの管理できないさまざまな要因から生じる技術的な課題のままです。
Edicho は、直接編集に明示的な画像対応を使用するという基本的な設計原則を特徴とする、拡散モデルに基づくトレーニング不要のソリューションを導入します。
具体的には、重要なコンポーネントには、注意操作モジュールと慎重に洗練された分類子なしガイダンス (CFG) ノイズ除去戦略が含まれており、どちらも事前推定された対応関係を考慮しています。
このような推論時間アルゴリズムはプラグ アンド プレイの性質を備えており、ControlNet や BrushNet などのほとんどの拡散ベースの編集方法と互換性があります。
広範な結果により、多様な設定下での一貫した画像間編集における Edicho の有効性が実証されています。
今後の研究を容易にするためにコードを公開します。

要約(オリジナル)

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google