Collaborative Diffusion for Multi-Modal Face Generation and Editing

要約

タイトル：多様な顔の生成と編集のためのCollaborative Diffusion

要約：

– 拡散モデルは、最近、強力な生成ツールとして登場しています。
– しかし、既存の拡散モデルは主にユニモーダルなコントロールに焦点を当てており、つまり、拡散プロセスは条件の1つのモダリティによって駆動されています。
– より創造性を引き出すためには、モデルが複数のモダリティで同時に制御できることが望ましいです。例えば、顔の形を描きながら年齢を記述することによって、顔を生成して編集することができます。
– この研究では、Collaborative Diffusionを提案し、事前に学習されたユニモーダルな拡散モデルが再トレーニングなしに協力してマルチモーダルな顔の生成と編集を実現します。
– 私たちの主な洞察は、異なるモダリティによって駆動される拡散モデルは、潜在的なノイズ除去のステップにおいて本質的に補完的であり、双方向の接続が確立される可能性があるということです。
– 具体的には、私たちはダイナミックディフューザーを提案しています。これは、各事前学習されたユニモーダルモデルのために、空間-時間的な影響関数を予測することによって自律的に複数のモダリティのノイズ除去ステップを幻想します。
– Collaborative Diffusionは、ユニモーダルの拡散モデルから生成能力を協力し、複数のユニモーダルの操作を統合してマルチモーダルな編集を行います。
– 広範囲にわたる質的および量的実験により、私たちのフレームワークが画像品質と状態の一貫性の両方で優れていることが示されています。

要約(オリジナル)

Diffusion models arise as a powerful generative tool recently. Despite the great progress, existing diffusion models mainly focus on uni-modal control, i.e., the diffusion process is driven by only one modality of condition. To further unleash the users’ creativity, it is desirable for the model to be controllable by multiple modalities simultaneously, e.g., generating and editing faces by describing the age (text-driven) while drawing the face shape (mask-driven). In this work, we present Collaborative Diffusion, where pre-trained uni-modal diffusion models collaborate to achieve multi-modal face generation and editing without re-training. Our key insight is that diffusion models driven by different modalities are inherently complementary regarding the latent denoising steps, where bilateral connections can be established upon. Specifically, we propose dynamic diffuser, a meta-network that adaptively hallucinates multi-modal denoising steps by predicting the spatial-temporal influence functions for each pre-trained uni-modal model. Collaborative Diffusion not only collaborates generation capabilities from uni-modal diffusion models, but also integrates multiple uni-modal manipulations to perform multi-modal editing. Extensive qualitative and quantitative experiments demonstrate the superiority of our framework in both image quality and condition consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI