Learning to regulate 3D head shape by removing occluding hair from in-the-wild images

要約

最近の 3D 顔再構成法は、顔のみをモデル化する以前のアプローチと比較して、頭全体を再構成します。
これらの方法は顔の特徴を正確に再構築しますが、頭の上部を明示的に調整するわけではありません。
頭のこの部分に関する情報を抽出することは、髪による閉塞の程度がさまざまであるため困難です。
頭の形に関する情報を明らかにし、閉塞している髪を取り除き、皮膚を再構築することにより、頭頂部をモデル化するための新しいアプローチを提示します。
3 つの目的を導入します。1) ソースとレンダリングされたイメージの全体的な頭の形状の間の類似性を強化するサイコロの一貫性の損失、2) 頭の上部が正確に再現されていない場合でも頭の形状が正確に再現されることを保証するスケールの一貫性の損失。
3) 移動平均損失関数を使用してトレーニングされた 71 ランドマーク検出器を使用して、頭部の追加のランドマークを検出します。
これらの目的は、監視されていない方法でエンコーダーをトレーニングして、野生の入力画像から FLAME パラメーターを回帰させるために使用されます。
私たちの教師なし 3DMM モデルは、一般的なベンチマークで最先端の結果を達成し、アニメーションやアバターの作成に直接使用するために頭の形、顔の特徴、テクスチャを推測するために使用できます。

要約(オリジナル)

Recent 3D face reconstruction methods reconstruct the entire head compared to earlier approaches which only model the face. Although these methods accurately reconstruct facial features, they do not explicitly regulate the upper part of the head. Extracting information about this part of the head is challenging due to varying degrees of occlusion by hair. We present a novel approach for modeling the upper head by removing occluding hair and reconstructing the skin, revealing information about the head shape. We introduce three objectives: 1) a dice consistency loss that enforces similarity between the overall head shape of the source and rendered image, 2) a scale consistency loss to ensure that head shape is accurately reproduced even if the upper part of the head is not visible, and 3) a 71 landmark detector trained using a moving average loss function to detect additional landmarks on the head. These objectives are used to train an encoder in an unsupervised manner to regress FLAME parameters from in-the-wild input images. Our unsupervised 3DMM model achieves state-of-the-art results on popular benchmarks and can be used to infer the head shape, facial features, and textures for direct use in animation or avatar creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google