Learning to Follow Object-Centric Image Editing Instructions Faithfully

要約

自然言語命令は、テキストから画像への拡散モデルの出力を編集するための強力なインターフェイスです。
ただし、いくつかの課題に対処する必要があります。1) 過小仕様 (命令の暗黙の意味をモデル化する必要性)、2) グラウンディング (編集を実行する必要がある場所を特定する必要性)、3) 忠実性 (要素を保存する必要性)
編集命令の影響を受けない画像）。
自然言語命令を使用した画像編集に重点を置いた現在のアプローチは、自動的に生成されたペアのデータに依存していますが、調査で示されたように、このデータにはノイズが多く、場合によっては無意味であり、上記の問題を悪化させます。
セグメンテーション、思考連鎖プロンプト、および視覚的な質問応答における最近の進歩に基づいて、ペアになったデータの品質が大幅に向上しました。
さらに、命令によって変更する必要がある画像の部分を強調表示することで、監視信号を強化します。
改良されたデータに基づいて微調整されたモデルは、自動評価と人間による評価で示されているように、最先端のベースラインよりも優れたきめ細かいオブジェクト中心の編集を実行でき、上で概説した問題を軽減します。
さらに、私たちのモデルは、視覚的なメタファーなど、トレーニング中には見えない領域に一般化することができます。

要約(オリジナル)

Natural language instructions are a powerful interface for editing the outputs of text-to-image diffusion models. However, several challenges need to be addressed: 1) underspecification (the need to model the implicit meaning of instructions) 2) grounding (the need to localize where the edit has to be performed), 3) faithfulness (the need to preserve the elements of the image not affected by the edit instruction). Current approaches focusing on image editing with natural language instructions rely on automatically generated paired data, which, as shown in our investigation, is noisy and sometimes nonsensical, exacerbating the above issues. Building on recent advances in segmentation, Chain-of-Thought prompting, and visual question answering, we significantly improve the quality of the paired data. In addition, we enhance the supervision signal by highlighting parts of the image that need to be changed by the instruction. The model fine-tuned on the improved data is capable of performing fine-grained object-centric edits better than state-of-the-art baselines, mitigating the problems outlined above, as shown by automatic and human evaluations. Moreover, our model is capable of generalizing to domains unseen during training, such as visual metaphors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google