要約
画像合成の目的は、前景オブジェクトを背景画像に結合して、リアルな合成画像を取得することです。
最近、生成合成手法は、その前例のない画像生成能力により、大規模な事前学習済み拡散モデルに基づいて構築されています。
ただし、前景オブジェクトの詳細を保持するのは弱いです。
特定のオブジェクト用にカスタマイズされた最近のテキストから画像への生成に触発され、画像合成を特定のオブジェクト用にカスタマイズされたテキストガイド付き画像修復として扱うことにより、DreamCom を提案します。
具体的には、同じオブジェクトを含むいくつかの参照画像に基づいて、事前トレーニングされたテキストガイド付き画像修復モデルを微調整します。その間、テキスト プロンプトには、このオブジェクトに関連付けられた特別なトークンが含まれます。
次に、新しい背景を指定して、特別なトークンを含むテキスト プロンプトとともにこのオブジェクトを背景に挿入できます。
実際には、挿入されたオブジェクトは背景によって悪影響を受ける可能性があるため、負の背景干渉を回避するためにマスクされた注意メカニズムを提案します。
DreamEditBench と私たちが提供した MureCom データセットでの実験結果は、DreamCom の優れたパフォーマンスを示しています。
要約(オリジナル)
The goal of image composition is merging a foreground object into a background image to obtain a realistic composite image. Recently, generative composition methods are built on large pretrained diffusion models, due to their unprecedented image generation ability. However, they are weak in preserving the foreground object details. Inspired by recent text-to-image generation customized for certain object, we propose DreamCom by treating image composition as text-guided image inpainting customized for certain object. Specifically , we finetune pretrained text-guided image inpainting model based on a few reference images containing the same object, during which the text prompt contains a special token associated with this object. Then, given a new background, we can insert this object into the background with the text prompt containing the special token. In practice, the inserted object may be adversely affected by the background, so we propose masked attention mechanisms to avoid negative background interference. Experimental results on DreamEditBench and our contributed MureCom dataset show the outstanding performance of our DreamCom.
arxiv情報
| 著者 | Lingxiao Lu,Jiangtong Li,Bo Zhang,Li Niu |
| 発行日 | 2024-01-24 11:52:15+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google