Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models

要約

タイトル：Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models
要約：
– テキストによって画像生成が改善されたことで、今日の画像編集方法はテキストを利用して直感的かつ汎用性の高い画像編集を実現する。
– 同じく拡散モデルのテキスト指導下での生成を用いることで、実画像を編集するためには、まず画像をノイジーな潜在レイヤーに転換しなければならない。
– しかし、多くの編集方法は、ユーザーフレンドリーさ、大規模なドメインへの汎用性、または入力画像への高い忠実度のいずれかが欠けている。
– 本論文では、Prompt Tuning Inversionという正確で迅速な転換テクニックを設計し、テキスト指導型の画像編集に利用する。
– 具体的には、レコンストラクションステージと編集ステージの2つの段階から構成される提案された編集方法を使用することで、高い忠実度と編集性の優れたトレードオフを実現することができる。
– ImageNetでの広範な実験により、従来法に比べて高度な編集性能を発揮することが示された。

要約(オリジナル)

Recently large-scale language-image models (e.g., text-guided diffusion models) have considerably improved the image generation capabilities to generate photorealistic images in various domains. Based on this success, current image editing methods use texts to achieve intuitive and versatile modification of images. To edit a real image using diffusion models, one must first invert the image to a noisy latent from which an edited image is sampled with a target text prompt. However, most methods lack one of the following: user-friendliness (e.g., additional masks or precise descriptions of the input image are required), generalization to larger domains, or high fidelity to the input image. In this paper, we design an accurate and quick inversion technique, Prompt Tuning Inversion, for text-driven image editing. Specifically, our proposed editing method consists of a reconstruction stage and an editing stage. In the first stage, we encode the information of the input image into a learnable conditional embedding via Prompt Tuning Inversion. In the second stage, we apply classifier-free guidance to sample the edited image, where the conditional embedding is calculated by linearly interpolating between the target embedding and the optimized one obtained in the first stage. This technique ensures a superior trade-off between editability and high fidelity to the input image of our method. For example, we can change the color of a specific object while preserving its original shape and background under the guidance of only a target text prompt. Extensive experiments on ImageNet demonstrate the superior editing performance of our method compared to the state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI