Facial-Sketch Synthesis: A New Challenge

要約

この論文は、顔スケッチ合成（FSS）に関する包括的な研究を行うことを目的としています。
ただし、手描きのスケッチデータセットを取得するにはコストが高いため、過去10年間のFSSアルゴリズムの開発を評価するための完全なベンチマークがありません。
最初に、FS2Kという名前のFSSの高品質データセットを紹介します。これは、3種類のスケッチスタイル、画像の背景、照明条件、肌の色、顔の属性にまたがる2,104の画像とスケッチのペアで構成されます。
FS2Kは、難易度、多様性、スケーラビリティの点で以前のFSSデータセットとは異なり、したがってFSS研究の進展を促進するはずです。
次に、25の手作りの特徴ベースの顔スケッチ合成アプローチ、29の一般的な翻訳方法、35の画像からスケッチへのアプローチを含む、89の古典的な方法をレビューすることによって最大規模のFSS調査を提示します。
さらに、既存の19の最先端モデルに関する包括的な実験を詳しく説明します。
第3に、FSGANという名前のFSSの単純なベースラインを示します。
FSGANは、顔を意識したマスキングとスタイルベクトルの拡張という2つの単純なコンポーネントのみで、提案されたFS2Kデータセットの以前のすべての最先端モデルのパフォーマンスを大幅に上回っています。
最後に、過去数年間に学んだ教訓で締めくくり、いくつかの未解決の課題を指摘します。
私たちのコードはhttps://github.com/DengPingFan/FSGANで入手できます。

要約(オリジナル)

This paper aims to conduct a comprehensive study on facial-sketch synthesis (FSS). However, due to the high costs of obtaining hand-drawn sketch datasets, there lacks a complete benchmark for assessing the development of FSS algorithms over the last decade. We first introduce a high-quality dataset for FSS, named FS2K, which consists of 2,104 image-sketch pairs spanning three types of sketch styles, image backgrounds, lighting conditions, skin colors, and facial attributes. FS2K differs from previous FSS datasets in difficulty, diversity, and scalability and should thus facilitate the progress of FSS research. Second, we present the largest-scale FSS investigation by reviewing 89 classical methods, including 25 handcrafted feature-based facial-sketch synthesis approaches, 29 general translation methods, and 35 image-to-sketch approaches. Besides, we elaborate comprehensive experiments on the existing 19 cutting-edge models. Third, we present a simple baseline for FSS, named FSGAN. With only two straightforward components, i.e., facial-aware masking and style-vector expansion, FSGAN surpasses the performance of all previous state-of-the-art models on the proposed FS2K dataset by a large margin. Finally, we conclude with lessons learned over the past years and point out several unsolved challenges. Our code is available at https://github.com/DengPingFan/FSGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google