Towards a Simultaneous and Granular Identity-Expression Control in Personalized Face Generation

要約

人間中心のコンテンツ生成では、事前トレーニングされたテキストから画像へのモデルは、多様な表現を示しながら個人のアイデンティティを維持する、ユーザーが望むポートレート画像を生成するのに苦労します。
本稿では、パーソナライズされた顔の生成に対する当社の取り組みを紹介します。
この目的を達成するために、我々は、アイデンティティ表現制御とよりきめ細かい表現合成を同時に行うことができる、新しいマルチモーダル顔生成フレームワークを提案します。
私たちの表現制御は非常に洗練されているため、きめ細かい感情語彙によって特化することができます。
私たちは、顔の交換と再現を同時に行うことができる新しい拡散モデルを考案しました。
アイデンティティと表現は絡み合っているため、それらを 1 つのフレームワーク内で個別かつ正確に制御することは自明ではないため、まだ検討されていません。
これを克服するために、アイデンティティと式エンコーダーのバランスをとること、中間点サンプリングの改善、明示的なバックグラウンド コンディショニングなど、条件付き拡散モデルでいくつかの革新的な設計を提案します。
広範な実験により、最先端のテキストから画像への変換、顔の交換、および顔の再現方法と比較して、提案されたフレームワークの制御性とスケーラビリティが実証されました。

要約(オリジナル)

In human-centric content generation, the pre-trained text-to-image models struggle to produce user-wanted portrait images, which retain the identity of individuals while exhibiting diverse expressions. This paper introduces our efforts towards personalized face generation. To this end, we propose a novel multi-modal face generation framework, capable of simultaneous identity-expression control and more fine-grained expression synthesis. Our expression control is so sophisticated that it can be specialized by the fine-grained emotional vocabulary. We devise a novel diffusion model that can undertake the task of simultaneously face swapping and reenactment. Due to the entanglement of identity and expression, it’s nontrivial to separately and precisely control them in one framework, thus has not been explored yet. To overcome this, we propose several innovative designs in the conditional diffusion model, including balancing identity and expression encoder, improved midpoint sampling, and explicitly background conditioning. Extensive experiments have demonstrated the controllability and scalability of the proposed framework, in comparison with state-of-the-art text-to-image, face swapping, and face reenactment methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google