Learning to Decouple the Lights for 3D Face Texture Modeling

要約

既存の研究は、顔が明るく照らされ、外部オクルージョンが最小限に抑えられた画像から人間の顔の形状とテクスチャを再構成する点で目覚ましい進歩を遂げました。
それにもかかわらず、外部オクルージョンの影響を受ける複雑な照明を伴うシナリオから正確な顔のテクスチャを復元することは依然として困難です。
帽子などのアイテムによって部分的に隠された顔。
単一かつ均一な照明を前提とした既存の作品では、これらのデータを正しく処理できません。
この研究では、このような不自然な照明の下で 3D 顔のテクスチャをモデル化する新しいアプローチを紹介します。
私たちのフレームワークは、単一の照明を想定するのではなく、光デカップリングと呼ばれる、学習されたニューラル表現と組み合わせた複数の個別の光条件の構成として不自然な照明を模倣することを学習します。
単一画像とビデオシーケンスの両方での実験によると、オクルージョンの影響を受ける難しい照明の下で顔のテクスチャをモデリングする際のアプローチの有効性を実証しました。
ビデオとコードについては、https://tianxinhuang.github.io/projects/Deface をご確認ください。

要約(オリジナル)

Existing research has made impressive strides in reconstructing human facial shapes and textures from images with well-illuminated faces and minimal external occlusions. Nevertheless, it remains challenging to recover accurate facial textures from scenarios with complicated illumination affected by external occlusions, e.g. a face that is partially obscured by items such as a hat. Existing works based on the assumption of single and uniform illumination cannot correctly process these data. In this work, we introduce a novel approach to model 3D facial textures under such unnatural illumination. Instead of assuming single illumination, our framework learns to imitate the unnatural illumination as a composition of multiple separate light conditions combined with learned neural representations, named Light Decoupling. According to experiments on both single images and video sequences, we demonstrate the effectiveness of our approach in modeling facial textures under challenging illumination affected by occlusions. Please check https://tianxinhuang.github.io/projects/Deface for our videos and codes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google