Towards Consistent and Controllable Image Synthesis for Face Editing

要約

現在の顔編集手法は主にGANベースの手法に依存しているが、最近では画像再構成における成功から拡散ベースのモデルに焦点が移っている。しかし、拡散モデルは、きめ細かな属性の操作や、変更されないはずの属性の一貫性を保つという課題に依然として直面している。これらの問題に対処し、顔画像の編集をより便利にするために、我々は、安定拡散モデルと粗い3D顔モデルの力を活用し、ポートレート写真の照明、表情、頭のポーズを制御する新しいアプローチを提案する。このタスクは本質的に、ターゲットとなる背景、アイデンティティ、様々な顔属性の組み合わせが含まれる。我々は、これらの要素の制御を十分に分離し、高品質な顔編集を可能にすることを目指している。具体的には、RigFaceと呼ばれる我々の手法には以下が含まれる：1) 背景、ポーズ、表情、照明の条件を事前かつ分離して提供する空間アーティビュート・エンコーダ、2) アイデンティティ特徴を事前学習された安定拡散モデルのノイズ除去UNetに転送するアイデンティティ・エンコーダ、3) これらの条件をノイズ除去UNetに注入するアトリビュート・リガー。我々のモデルは、既存の顔編集モデルと比較して、同一性保持とフォトリアリズムの両方において同等かそれ以上の性能を達成している。

要約(オリジナル)

Current face editing methods mainly rely on GAN-based techniques, but recent focus has shifted to diffusion-based models due to their success in image reconstruction. However, diffusion models still face challenges in manipulating fine-grained attributes and preserving consistency of attributes that should remain unchanged. To address these issues and facilitate more convenient editing of face images, we propose a novel approach that leverages the power of Stable-Diffusion models and crude 3D face models to control the lighting, facial expression and head pose of a portrait photo. We observe that this task essentially involve combinations of target background, identity and different face attributes. We aim to sufficiently disentangle the control of these factors to enable high-quality of face editing. Specifically, our method, coined as RigFace, contains: 1) A Spatial Arrtibute Encoder that provides presise and decoupled conditions of background, pose, expression and lighting; 2) An Identity Encoder that transfers identity features to the denoising UNet of a pre-trained Stable-Diffusion model; 3) An Attribute Rigger that injects those conditions into the denoising UNet. Our model achieves comparable or even superior performance in both identity preservation and photorealism compared to existing face editing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL