ArtFacePoints: High-resolution Facial Landmark Detection in Paintings and Prints

要約

顔のランドマーク検出は、アートワークの類似性分析で同じまたは類似のアーティストのポートレートを比較するために重要な役割を果たします。
顔のランドマークを使用すると、絵画や版画などのさまざまなジャンルのポートレートを、コントロール ポイント ベースの画像レジストレーションを使用して自動的に位置合わせできます。
絵画や版画の高解像度画像で顔ランドマークを検出するための深層学習ベースの方法を提案します。
このタスクは、大まかなランドマーク予測用のグローバル ネットワークと、予測されたグローバル ランドマーク座標に基づいて自動的に決定される、目、鼻、口の領域における正確なランドマークの改良用の複数の領域ネットワークに分割されます。
芸術的なスタイルの転送と幾何学的なランドマークのシフトを含む、合成的に拡張された顔のランドマーク アート データセットを作成しました。
私たちの方法は、競合する方法と比較して、公開されている低解像度のアートワーク データセットに匹敵する一方で、アートワークの高解像度データセットの内側の顔ランドマークの正確な検出を示しています。

要約(オリジナル)

Facial landmark detection plays an important role for the similarity analysis in artworks to compare portraits of the same or similar artists. With facial landmarks, portraits of different genres, such as paintings and prints, can be automatically aligned using control-point-based image registration. We propose a deep-learning-based method for facial landmark detection in high-resolution images of paintings and prints. It divides the task into a global network for coarse landmark prediction and multiple region networks for precise landmark refinement in regions of the eyes, nose, and mouth that are automatically determined based on the predicted global landmark coordinates. We created a synthetically augmented facial landmark art dataset including artistic style transfer and geometric landmark shifts. Our method demonstrates an accurate detection of the inner facial landmarks for our high-resolution dataset of artworks while being comparable for a public low-resolution artwork dataset in comparison to competing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google