Versatile Diffusion: Text, Images and Variations All in One Diffusion Model

要約

拡散モデルの最近の進歩は、多くの生成タスクで印象的なマイルストーンを設定しました。
DALL-E2、Imagen、Stable Diffusion などのトレンド作品は、学界と産業界で大きな関心を集めています。
ランドスケープが急速に変化しているにもかかわらず、最近の新しいアプローチは容量ではなく拡張機能とパフォーマンスに重点を置いているため、個別のタスクには個別のモデルが必要です。
この作業では、既存の単一フローの拡散パイプラインを、テキストから画像、画像からテキスト、画像のバリエーション、およびテキストのバリエーションを処理する Versatile Diffusion (VD) と呼ばれるマルチフロー ネットワークに拡張します。
1つの統一モデル。
さらに、VD を、グループ化されたレイヤー、スワップ可能なストリーム、および画像やテキストを超えてモダリティを処理できるその他の提案を備えた、統合されたマルチフロー マルチモーダル拡散フレームワークに一般化します。
実験を通じて、VD とその基盤となるフレームワークには次のメリットがあることを示しています。a) VD はすべてのサブタスクを競争力のある品質で処理します。
b) VD は、スタイルとセマンティックのもつれの解消、画像とテキストの二重誘導生成など、新しい拡張とアプリケーションを開始します。
c) これらの実験とアプリケーションを通じて、VD は生成された出力のより意味的な洞察を提供します。
私たちのコードとモデルは、https://github.com/SHI-Labs/Versatile-Diffusion でオープンソース化されています。

要約(オリジナル)

The recent advances in diffusion models have set an impressive milestone in many generation tasks. Trending works such as DALL-E2, Imagen, and Stable Diffusion have attracted great interest in academia and industry. Despite the rapid landscape changes, recent new approaches focus on extensions and performance rather than capacity, thus requiring separate models for separate tasks. In this work, we expand the existing single-flow diffusion pipeline into a multi-flow network, dubbed Versatile Diffusion (VD), that handles text-to-image, image-to-text, image-variation, and text-variation in one unified model. Moreover, we generalize VD to a unified multi-flow multimodal diffusion framework with grouped layers, swappable streams, and other propositions that can process modalities beyond images and text. Through our experiments, we demonstrate that VD and its underlying framework have the following merits: a) VD handles all subtasks with competitive quality; b) VD initiates novel extensions and applications such as disentanglement of style and semantic, image-text dual-guided generation, etc.; c) Through these experiments and applications, VD provides more semantic insights of the generated outputs. Our code and models are open-sourced at https://github.com/SHI-Labs/Versatile-Diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google