FunEditor: Achieving Complex Image Edits via Function Aggregation with Diffusion Models

要約

拡散モデルは生成タスクにおいて優れたパフォーマンスを実証しており、画像編集の理想的な候補となっています。
最近の研究では、テキストの指示に従うことで目的の編集を効果的に適用できる能力が明らかになりましたが、依然として 2 つの重要な課題が残されています。
まず、これらのモデルは複数の編集を同時に適用するのが難しく、逐次処理に依存するため計算効率が低下します。
第 2 に、テキストのプロンプトに依存して編集領域を決定すると、画像が意図せず変更される可能性があります。
FunEditor は、アトミックな編集機能を学習し、より単純な機能を集約することで複雑な編集を実行するように設計された効率的な普及モデルです。
このアプローチにより、複数の機能を集約し、特定の領域に同時に適用することで、オブジェクトの移動などの複雑な編集タスクが可能になります。
私たちの実験では、オブジェクトの移動やオブジェクトの貼り付けなどの複雑なタスクにおいて、FunEditor が、さまざまなメトリクスにわたる定量的または視覚的な比較、またはその両方を通じて、最近の推論時間の最適化手法や微調整されたモデルよりも大幅に優れていることが実証されました。
それまでの間、FunEditor はわずか 4 ステップの推論で、既存の一般的なメソッドと比較して 5 ～ 24 倍の推論高速化を達成します。
コードは mhmdsmdi.github.io/funeditor/ から入手できます。

要約(オリジナル)

Diffusion models have demonstrated outstanding performance in generative tasks, making them ideal candidates for image editing. Recent studies highlight their ability to apply desired edits effectively by following textual instructions, yet with two key challenges remaining. First, these models struggle to apply multiple edits simultaneously, resulting in computational inefficiencies due to their reliance on sequential processing. Second, relying on textual prompts to determine the editing region can lead to unintended alterations to the image. We introduce FunEditor, an efficient diffusion model designed to learn atomic editing functions and perform complex edits by aggregating simpler functions. This approach enables complex editing tasks, such as object movement, by aggregating multiple functions and applying them simultaneously to specific areas. Our experiments demonstrate that FunEditor significantly outperforms recent inference-time optimization methods and fine-tuned models, either quantitatively across various metrics or through visual comparisons or both, on complex tasks like object movement and object pasting. In the meantime, with only 4 steps of inference, FunEditor achieves 5-24x inference speedups over existing popular methods. The code is available at: mhmdsmdi.github.io/funeditor/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google