In-Context Learning Unlocked for Diffusion Models

要約

タイトル：DifussionモデルのIn-Context Learningのための解放

要約：
– Prompt Diffusionというフレームワークは、特定のタスクに関する例示画像とテキストガイダンスを与えることで、異なる画像に対する同じタスクを自動的に実行することができるモデルを提供する。
– Vision-LanguageプロンプトとDiffusionモデルの組み合わせにより、広範囲なVision-Languageタスクをモデル化することが可能であり、６つの異なるタスクに対し、同時にトレーニングを行うことができる
– Prompt Diffusionは、In-Context Learningを可能にする最初のDiffusion-based Vision-Language foundation modelとなり、トレーニングされたタスクに対して高品質な生成力を示し、新規のタスクに対しても効果的な汎用性を示すことができた。
– また、テキストガイド画像編集にも有望な結果が示され、コンピュータビジョンにおけるIn-Context Learningの研究を促進するため、フレームワークのコードは公開された。

要約(オリジナル)

We present Prompt Diffusion, a framework for enabling in-context learning in diffusion-based generative models. Given a pair of task-specific example images, such as depth from/to image and scribble from/to image, and a text guidance, our model automatically understands the underlying task and performs the same task on a new query image following the text guidance. To achieve this, we propose a vision-language prompt that can model a wide range of vision-language tasks and a diffusion model that takes it as input. The diffusion model is trained jointly over six different tasks using these prompts. The resulting Prompt Diffusion model is the first diffusion-based vision-language foundation model capable of in-context learning. It demonstrates high-quality in-context generation on the trained tasks and generalizes effectively to new, unseen vision tasks with their respective prompts. Our model also shows compelling text-guided image editing results. Our framework, with code publicly available at https://github.com/Zhendong-Wang/Prompt-Diffusion, aims to facilitate research into in-context learning for computer vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI