FreeEnricher: Enriching Face Landmarks without Additional Cost

要約

近年、顔の位置合わせが大幅​​に増加しています。
密集した顔のランドマークは、美容医療や顔の美化など、さまざまなシナリオで非常に要求されますが、ほとんどの作品は疎な顔の位置合わせのみを考慮しています。
この問題に対処するために、既存のまばらなランドマーク データセット (68 ポイントの 300W と 98 ポイントの WFLW など) によってランドマーク密度を強化できるフレームワークを提示します。
まず、各セマンティック輪郭に沿ったローカル パッチの外観は非常に似ていることがわかります。
次に、元のまばらなランドマークの改良能力を学習し、この能力を強化された密なランドマークに適応させるという、教師が弱いアイデアを提案します。
その間、いくつかのオペレーターが考案され、アイデアを実装するために一緒に組織されています。
最後に、トレーニング済みのモデルがプラグアンドプレイ モジュールとして既存の顔の位置合わせネットワークに適用されます。
この方法を評価するために、300W テストセットの密集したランドマークに手動でラベルを付けます。
私たちの方法は、新しく構築された高密度の 300W テストセットだけでなく、元の疎な 300W および WFLW テストセットでも、追加費用なしで最先端の精度を実現します。

要約(オリジナル)

Recent years have witnessed significant growth of face alignment. Though dense facial landmark is highly demanded in various scenarios, e.g., cosmetic medicine and facial beautification, most works only consider sparse face alignment. To address this problem, we present a framework that can enrich landmark density by existing sparse landmark datasets, e.g., 300W with 68 points and WFLW with 98 points. Firstly, we observe that the local patches along each semantic contour are highly similar in appearance. Then, we propose a weakly-supervised idea of learning the refinement ability on original sparse landmarks and adapting this ability to enriched dense landmarks. Meanwhile, several operators are devised and organized together to implement the idea. Finally, the trained model is applied as a plug-and-play module to the existing face alignment networks. To evaluate our method, we manually label the dense landmarks on 300W testset. Our method yields state-of-the-art accuracy not only in newly-constructed dense 300W testset but also in the original sparse 300W and WFLW testsets without additional cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google