BareSkinNet: De-makeup and De-lighting via 3D Face Reconstruction

要約

顔画像からメイクと照明の影響を同時に除去する新しい方法である BareSkinNet を提案します。
私たちの方法は、3Dモーフィング可能なモデルを活用し、参照のきれいな顔の画像や指定された照明条件を必要としません。
3D 顔再構築のプロセスを組み合わせることで、3D ジオメトリと粗い 3D テクスチャを簡単に取得できます。
この情報を使用して、画像変換ネットワークによって、正規化された 3D 顔のテクスチャ マップ (拡散、法線、粗さ、鏡面) を推測できます。
その結果、望ましくない情報を含まない再構築された 3D 顔テクスチャは、再ライティングや再メイクアップなどのその後のプロセスに大きなメリットをもたらします。
実験では、BareSkinNet が最先端のメイク落とし方法よりも優れていることを示しています。
さらに、私たちの方法は、メイクを除去して一貫性のある忠実度の高いテクスチャ マップを生成するのに非常に役立ちます。これにより、多くの現実的な顔生成アプリケーションに拡張できます。
また、対応する 3D データを使用して、前後の顔メイク画像のグラフィック アセットを自動的に構築することもできます。
これは、アーティストが 3D メイクアップ アバターの作成などの作業を加速するのに役立ちます。

要約(オリジナル)

We propose BareSkinNet, a novel method that simultaneously removes makeup and lighting influences from the face image. Our method leverages a 3D morphable model and does not require a reference clean face image or a specified light condition. By combining the process of 3D face reconstruction, we can easily obtain 3D geometry and coarse 3D textures. Using this information, we can infer normalized 3D face texture maps (diffuse, normal, roughness, and specular) by an image-translation network. Consequently, reconstructed 3D face textures without undesirable information will significantly benefit subsequent processes, such as re-lighting or re-makeup. In experiments, we show that BareSkinNet outperforms state-of-the-art makeup removal methods. In addition, our method is remarkably helpful in removing makeup to generate consistent high-fidelity texture maps, which makes it extendable to many realistic face generation applications. It can also automatically build graphic assets of face makeup images before and after with corresponding 3D data. This will assist artists in accelerating their work, such as 3D makeup avatar creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google