A survey and classification of face alignment methods based on face models

要約

顔モデルとは、人間の顔の特徴を数学的に表現したものである。伝統的に、顔モデルは一組の補助点またはランドマークを使用して構築され、各点は理想的には顔の特徴、すなわち目尻、鼻先などに位置する。顔アライメントとは、顔モデル内のランドマークを、顔を含む入力画像内のそれぞれのグランドトゥルース位置に適合させるプロセスである。過去数十年間、顔アライメントに関する研究が盛んに行われてきたにもかかわらず、文献で使用されている様々な顔モデルを分析したレビューはない。顔アライメントの初心者、実務者、研究者という3つのタイプの読者を対象に、顔アライメントに使用される様々な顔モデルの包括的な分析を提供する。新しい顔画像に顔モデルをフィッティングする例とともに、顔モデルの解釈とトレーニングを含む。我々は、3Dベースの顔モデルが極端な顔のポーズの場合に好まれるのに対し、ディープラーニングベースの手法はしばしばヒートマップを使用することを発見した。さらに、顔アライメントの分野における顔モデルの将来的な方向性について議論する。

要約(オリジナル)

A face model is a mathematical representation of the distinct features of a human face. Traditionally, face models were built using a set of fiducial points or landmarks, each point ideally located on a facial feature, i.e., corner of the eye, tip of the nose, etc. Face alignment is the process of fitting the landmarks in a face model to the respective ground truth positions in an input image containing a face. Despite significant research on face alignment in the past decades, no review analyses various face models used in the literature. Catering to three types of readers – beginners, practitioners and researchers in face alignment, we provide a comprehensive analysis of different face models used for face alignment. We include the interpretation and training of the face models along with the examples of fitting the face model to a new face image. We found that 3D-based face models are preferred in cases of extreme face pose, whereas deep learning-based methods often use heatmaps. Moreover, we discuss the possible future directions of face models in the field of face alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL