Face2Face: Label-driven Facial Retouching Restoration

要約

Instagram や TikTok などのソーシャル メディア プラットフォームの人気と、レタッチ ツールの普及と利便性により、顔写真を美しくするためにこれらのツールを利用する人が増えています。
これは、本人確認やソーシャルメディアなど、写真の信頼性が非常に要求される分野に課題をもたらします。
顔画像を変更することで、ユーザーは簡単に欺瞞的な画像を作成でき、虚偽の情報の拡散につながります。
これは、本人確認システムやソーシャルメディアの信頼性に課題をもたらし、さらにはオンライン詐欺につながる可能性があります。
この問題に対処するために、いくつかの研究でメイクアップ除去方法が提案されていますが、レタッチによる幾何学的変形を伴う画像を復元する機能はまだありません。
顔レタッチ復元の問題に取り組むために、私たちは Face2Face と呼ばれるフレームワークを提案します。これは、顔レタッチ検出器、FaceR という名前の画像復元モデル、および Hierarchical Adaptive Instance Normalization (H-AdaIN) と呼ばれる色補正モジュールの 3 つのコンポーネントで構成されます。
。
まず、顔レタッチ検出器は、レタッチ方法とその度合いを示す 3 つの整数を含むレタッチ ラベルを予測します。
その後、FaceR は予測されたレタッチ ラベルに基づいてレタッチされた画像を復元します。
最後に、H-AdaIN は、拡散モデルから生じるカラーシフトの問題に対処するために適用されます。
広範な実験により、フレームワークと各モジュールの有効性が実証されています。

要約(オリジナル)

With the popularity of social media platforms such as Instagram and TikTok, and the widespread availability and convenience of retouching tools, an increasing number of individuals are utilizing these tools to beautify their facial photographs. This poses challenges for fields that place high demands on the authenticity of photographs, such as identity verification and social media. By altering facial images, users can easily create deceptive images, leading to the dissemination of false information. This may pose challenges to the reliability of identity verification systems and social media, and even lead to online fraud. To address this issue, some work has proposed makeup removal methods, but they still lack the ability to restore images involving geometric deformations caused by retouching. To tackle the problem of facial retouching restoration, we propose a framework, dubbed Face2Face, which consists of three components: a facial retouching detector, an image restoration model named FaceR, and a color correction module called Hierarchical Adaptive Instance Normalization (H-AdaIN). Firstly, the facial retouching detector predicts a retouching label containing three integers, indicating the retouching methods and their corresponding degrees. Then FaceR restores the retouched image based on the predicted retouching label. Finally, H-AdaIN is applied to address the issue of color shift arising from diffusion models. Extensive experiments demonstrate the effectiveness of our framework and each module.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google