Photorealistic Facial Wrinkles Removal

要約

顔の編集やレタッチは、フォトリアリスティックな結果を得るために、通常、人間のアーティストを必要とする複雑な作業である。その用途は多岐にわたり、化粧品やデジタルメディアのレタッチなど、様々な場面で利用されている。最近、条件付き生成モデリングの進歩により、顔の属性をリアルに修正することに驚くべき結果が得られている。しかし、現在の手法は、年齢や性別などのグローバルな属性や、眼鏡や口ひげなどのローカルな中型の属性を修正することに重点を置いており、アーチファクトが発生しやすいという問題がある。本研究では、顔のしわをレタッチするための2段階のアプローチを再検討し、これまでにないリアリズムを持つ結果を得ることができました。まず、最新のしわセグメンテーションネットワークにより、顔領域内のしわを検出する。次に、インペインティングモジュールを用いて、検出されたシワを除去し、周囲の皮膚と統計的に一致するテクスチャで埋め尽くします。これを実現するために、我々は、しわのセグメンテーションネットワークを再利用し、インペイント後にまだしわを含む領域に対してペナルティを課す新しい損失項を導入する。我々は本手法を定性的、定量的に評価し、シワの除去というタスクに対して最先端の結果を示した。さらに、しわの検出方法を評価するために、FFHQ-Wrinklesと名付けられた最初の高解像度データセットを紹介する。

要約(オリジナル)

Editing and retouching facial attributes is a complex task that usually requires human artists to obtain photo-realistic results. Its applications are numerous and can be found in several contexts such as cosmetics or digital media retouching, to name a few. Recently, advancements in conditional generative modeling have shown astonishing results at modifying facial attributes in a realistic manner. However, current methods are still prone to artifacts, and focus on modifying global attributes like age and gender, or local mid-sized attributes like glasses or moustaches. In this work, we revisit a two-stage approach for retouching facial wrinkles and obtain results with unprecedented realism. First, a state of the art wrinkle segmentation network is used to detect the wrinkles within the facial region. Then, an inpainting module is used to remove the detected wrinkles, filling them in with a texture that is statistically consistent with the surrounding skin. To achieve this, we introduce a novel loss term that reuses the wrinkle segmentation network to penalize those regions that still contain wrinkles after the inpainting. We evaluate our method qualitatively and quantitatively, showing state of the art results for the task of wrinkle removal. Moreover, we introduce the first high-resolution dataset, named FFHQ-Wrinkles, to evaluate wrinkle detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL