EMS: 3D Eyebrow Modeling from Single-view Images

要約

眉毛は顔の表情や見た目に重要な役割を果たします。
顔の 3D デジタル化はよく研究されていますが、3D 眉毛モデリングについてはあまり注目されていません。
この研究では、単一ビューの 3D 眉毛再構成のための初の学習ベースのフレームワークである EMS を提案します。
頭皮の毛の再構築の方法に従って、眉毛も一連の繊維曲線として表し、再構築を繊維成長問題に変換します。
次に、3 つのモジュールが慎重に設計されます。RootFinder は、まず、どこで成長するかを示すファイバーの根の位置を特定します。
OriPredictor は、3D 空間内の配向フィールドを予測して、繊維の成長をガイドします。
FiberEnder は、各繊維の成長をいつ停止するかを決定するように設計されています。
当社の OriPredictor は、毛髪の再構築に使用される手法を直接借用しています。
髪と眉毛の違いを考慮して、RootFinderとFiberEnderの両方を新たに提案します。
具体的には、根の位置が著しく遮蔽されるという課題に対処するために、根の位置特定を密度マップ推定タスクとして定式化します。
予測された密度マップが与えられると、根を見つけるために密度ベースのクラスタリング方法がさらに使用されます。
各繊維の成長は根元点から始まり、終了まで段階的に進みます。各ステップは、予測された配向フィールドに従って一定の長さの配向線として定義されます。
いつ終了するかを決定するために、ピクセル位置合わせされた RNN アーキテクチャは、成長ステップごとに停止するかどうかを出力するバイナリ分類器を形成するように設計されています。
提案されているすべてのネットワークのトレーニングをサポートするために、アーティストが手動で作成した 400 個の高品質の眉毛モデルを含む最初の 3D 合成眉毛データセットを構築しました。
広範な実験により、短くまばらな眉毛から長くてふさふさした眉毛まで、さまざまな異なる眉毛のスタイルと長さに対する提案された EMS パイプラインの有効性が実証されました。

要約(オリジナル)

Eyebrows play a critical role in facial expression and appearance. Although the 3D digitization of faces is well explored, less attention has been drawn to 3D eyebrow modeling. In this work, we propose EMS, the first learning-based framework for single-view 3D eyebrow reconstruction. Following the methods of scalp hair reconstruction, we also represent the eyebrow as a set of fiber curves and convert the reconstruction to fibers growing problem. Three modules are then carefully designed: RootFinder firstly localizes the fiber root positions which indicates where to grow; OriPredictor predicts an orientation field in the 3D space to guide the growing of fibers; FiberEnder is designed to determine when to stop the growth of each fiber. Our OriPredictor is directly borrowing the method used in hair reconstruction. Considering the differences between hair and eyebrows, both RootFinder and FiberEnder are newly proposed. Specifically, to cope with the challenge that the root location is severely occluded, we formulate root localization as a density map estimation task. Given the predicted density map, a density-based clustering method is further used for finding the roots. For each fiber, the growth starts from the root point and moves step by step until the ending, where each step is defined as an oriented line with a constant length according to the predicted orientation field. To determine when to end, a pixel-aligned RNN architecture is designed to form a binary classifier, which outputs stop or not for each growing step. To support the training of all proposed networks, we build the first 3D synthetic eyebrow dataset that contains 400 high-quality eyebrow models manually created by artists. Extensive experiments have demonstrated the effectiveness of the proposed EMS pipeline on a variety of different eyebrow styles and lengths, ranging from short and sparse to long bushy eyebrows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google