Locate, Assign, Refine: Taming Customized Promptable Image Inpainting

要約

これまでの研究では、テキストの説明または主題の画像のいずれかに基づいて画像修復が大幅に進歩しました。
ただし、柔軟なガイダンスまたは制御 (テキストのみ、画像のみ、およびそれらの組み合わせ) を使用した修復の研究はまだ初期段階にあります。
したがって、この論文では、マルチモーダルなプロンプト可能な画像修復プロジェクト、つまり新しいタスク モデルと、カスタマイズされた画像修復を制御するためのデータを紹介します。
我々は、テキストプロンプトと画像プロンプトの両方を組み込んだ、マスクプロンプトに対応する画像内の特定領域のシームレスな修復を可能にする画像修復のための新しいアプローチであるLAR-Genを提案します。
私たちの LAR-Gen は、ソース画像のコンテキストの一貫性、被写体のアイデンティティの一貫性、テキストの説明に対するローカルの意味論的な一貫性、および滑らかさの一貫性を確保するために、粗いものから細かいものまでの方法を採用しています。
これは 3 つのメカニズムで構成されます: (i) 位置特定メカニズム: 正確な領域編集を実現するためにマスクされたシーン画像とノイズを連結する、(ii) 割り当てメカニズム: マルチモーダル ガイダンスに対応するために分離されたクロスアテンション メカニズムを採用する、および (iii) リファイン メカニズム
: 新しい RefineNet を使用して主題の詳細を補足します。
さらに、トレーニング データが不足しているという問題に対処するために、公開されている事前トレーニング済みの大規模モデルを活用して、ローカル テキスト プロンプトと対応するビジュアル インスタンスからなるデータの実質的なペアを膨大な画像データから自動的に抽出する新しいデータ エンジンを導入します。
広範な実験とさまざまなアプリケーション シナリオにより、ID の保持とテキストの意味の一貫性の両方の点で LAR-Gen の優位性が実証されています。

要約(オリジナル)

Prior studies have made significant progress in image inpainting guided by either text description or subject image. However, the research on inpainting with flexible guidance or control, i.e., text-only, image-only, and their combination, is still in the early stage. Therefore, in this paper, we introduce the multimodal promptable image inpainting project: a new task model, and data for taming customized image inpainting. We propose LAR-Gen, a novel approach for image inpainting that enables seamless inpainting of specific region in images corresponding to the mask prompt, incorporating both the text prompt and image prompt. Our LAR-Gen adopts a coarse-to-fine manner to ensure the context consistency of source image, subject identity consistency, local semantic consistency to the text description, and smoothness consistency. It consists of three mechanisms: (i) Locate mechanism: concatenating the noise with masked scene image to achieve precise regional editing, (ii) Assign mechanism: employing decoupled cross-attention mechanism to accommodate multi-modal guidance, and (iii) Refine mechanism: using a novel RefineNet to supplement subject details. Additionally, to address the issue of scarce training data, we introduce a novel data engine to automatically extract substantial pairs of data consisting of local text prompts and corresponding visual instances from a vast image data, leveraging publicly available pre-trained large models. Extensive experiments and various application scenarios demonstrate the superiority of LAR-Gen in terms of both identity preservation and text semantic consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google