FireEdit: Fine-grained Instruction-based Image Editing via Region-aware Vision Language Model

要約

現在、命令ベースの画像編集方法は、ビジョン言語モデル（VLM）の強力なクロスモーダル理解能力を活用することにより、大きな進歩を遂げています。
ただし、3つの重要な領域で課題に直面しています。1）複雑なシナリオ。
2）セマンティックの一貫性。
および3）細粒の編集。
これらの問題に対処するために、地域を認識しているVLMを悪用する革新的な細かい粒度ベースの画像編集フレームワークであるFireeditを提案します。
FireeDitは、ユーザーの指示を正確に理解し、編集プロセスを効果的に制御するように設計されています。
具体的には、追加の領域トークンを導入することにより、VLMのきめの細かい視覚認識能力を強化します。
拡散モデルを導くためにLLMの出力のみに依存すると、最適ではない編集結果につながる可能性があります。
したがって、タイムウェアターゲットインジェクションモジュールとハイブリッドの視覚的クロス注意モジュールを提案します。
前者は、タイムステップの埋め込みとテキストの埋め込みを統合することにより、さまざまな除去段階でガイダンス強度を動的に調整します。
後者は、画像編集の視覚的な詳細を強化するため、編集された結果とソース画像の間にセマンティックな一貫性が保持されます。
微粒領域のトークンと時間依存の拡散モデルと強化されたVLMを組み合わせることにより、FireeDitは編集命令の理解と高い意味の一貫性を維持する上で大きな利点を示します。
広範な実験は、私たちのアプローチが最先端の命令ベースの画像編集方法を上回ることを示しています。
当社のプロジェクトは、https：//zjgans.github.io/fireedit.github.ioで入手できます。

要約(オリジナル)

Currently, instruction-based image editing methods have made significant progress by leveraging the powerful cross-modal understanding capabilities of vision language models (VLMs). However, they still face challenges in three key areas: 1) complex scenarios; 2) semantic consistency; and 3) fine-grained editing. To address these issues, we propose FireEdit, an innovative Fine-grained Instruction-based image editing framework that exploits a REgion-aware VLM. FireEdit is designed to accurately comprehend user instructions and ensure effective control over the editing process. Specifically, we enhance the fine-grained visual perception capabilities of the VLM by introducing additional region tokens. Relying solely on the output of the LLM to guide the diffusion model may lead to suboptimal editing results. Therefore, we propose a Time-Aware Target Injection module and a Hybrid Visual Cross Attention module. The former dynamically adjusts the guidance strength at various denoising stages by integrating timestep embeddings with the text embeddings. The latter enhances visual details for image editing, thereby preserving semantic consistency between the edited result and the source image. By combining the VLM enhanced with fine-grained region tokens and the time-dependent diffusion model, FireEdit demonstrates significant advantages in comprehending editing instructions and maintaining high semantic consistency. Extensive experiments indicate that our approach surpasses the state-of-the-art instruction-based image editing methods. Our project is available at https://zjgans.github.io/fireedit.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google