Diffusion-based Facial Aesthetics Enhancement with 3D Structure Guidance

要約

顔の美学強化（FAE）は、顔のイメージの構造と外観を調整しながら、可能な限りアイデンティティを維持することにより、顔の魅力を向上させることを目指しています。
ほとんどの既存の方法は、FAEを実施するために、生成モデル向けに深い機能ベースまたはスコアベースのガイダンスを採用しました。
これらの方法は有望な結果を達成しましたが、アイデンティティの一貫性が低いか、顔の魅力が不十分であるため、過度に美化された結果が生成される可能性があります。
アイデンティティの喪失が少ない顔面美学を強化するために、3D構造ガイダンスで2Dフェイシャルイメージを美化する拡散ベースのFAEメソッドである拡散（NNSG拡散）に基づいた最近隣接構造ガイダンスを提案します。
具体的には、近隣の参照面からFAEガイダンスを抽出することを提案します。
FAEプロセスでの顔の構造の変化を減らすために、3Dフェイスモデルは、一致した2D参照フェイスと2D入力フェースの両方を参照して回復し、3Dフェイスモデルから深さと輪郭のガイダンスを抽出できます。
その後、深さと輪郭の手がかりは、FAEのコントロールネットを使用した安定した拡散に対する効果的なガイダンスを提供できます。
広範な実験は、私たちの方法が、顔のアイデンティティを維持しながら、顔の美学を強化する際の以前の関連する方法よりも優れていることを示しています。

要約(オリジナル)

Facial Aesthetics Enhancement (FAE) aims to improve facial attractiveness by adjusting the structure and appearance of a facial image while preserving its identity as much as possible. Most existing methods adopted deep feature-based or score-based guidance for generation models to conduct FAE. Although these methods achieved promising results, they potentially produced excessively beautified results with lower identity consistency or insufficiently improved facial attractiveness. To enhance facial aesthetics with less loss of identity, we propose the Nearest Neighbor Structure Guidance based on Diffusion (NNSG-Diffusion), a diffusion-based FAE method that beautifies a 2D facial image with 3D structure guidance. Specifically, we propose to extract FAE guidance from a nearest neighbor reference face. To allow for less change of facial structures in the FAE process, a 3D face model is recovered by referring to both the matched 2D reference face and the 2D input face, so that the depth and contour guidance can be extracted from the 3D face model. Then the depth and contour clues can provide effective guidance to Stable Diffusion with ControlNet for FAE. Extensive experiments demonstrate that our method is superior to previous relevant methods in enhancing facial aesthetics while preserving facial identity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google