EFHQ: Multi-purpose ExtremePose-Face-HQ dataset

要約

既存の顔データセットには、ほぼ正面から見た画像が豊富に含まれていますが、極端な頭のポーズの画像が不足しているため、横顔や傾斜した顔を扱う場合、深層学習モデルのパフォーマンスが低下します。
この研究は、Extreme Pose Face High-Quality Dataset (EFHQ) という名前の新しいデータセットを導入することで、このギャップに対処することを目的としています。このデータセットには、極端なポーズの顔の最大 450,000 個の高品質画像が含まれています。
このような大規模なデータセットを生成するために、私たちは斬新で細心の注意を払ったデータセット処理パイプラインを利用して、VFHQ と CelebV-HQ という 2 つの公的に利用可能なデータセットを厳選しました。これらのデータセットには、さまざまな設定でキャプチャされた多くの高解像度の顔ビデオが含まれています。
私たちのデータセットは、2D/3D 対応 GAN による顔合成、拡散ベースのテキストから画像への顔生成、顔の再現など、さまざまな顔関連タスクで既存のデータセットを補完できます。
具体的には、EFHQ を使用したトレーニングにより、モデルがさまざまなポーズにわたって適切に一般化され、極端なビューを含むシナリオでのパフォーマンスが大幅に向上することが広範な実験によって確認されています。
さらに、EFHQ を利用して、困難なクロスビュー顔検証ベンチマークを定義します。このベンチマークでは、SOTA 顔認識モデルのパフォーマンスが、正面から正面のシナリオと比較して 5 ～ 37\% 低下します。これは、厳しい姿勢での顔認識の研究を促進することを目的としています。
野生の状態。

要約(オリジナル)

The existing facial datasets, while having plentiful images at near frontal views, lack images with extreme head poses, leading to the downgraded performance of deep learning models when dealing with profile or pitched faces. This work aims to address this gap by introducing a novel dataset named Extreme Pose Face High-Quality Dataset (EFHQ), which includes a maximum of 450k high-quality images of faces at extreme poses. To produce such a massive dataset, we utilize a novel and meticulous dataset processing pipeline to curate two publicly available datasets, VFHQ and CelebV-HQ, which contain many high-resolution face videos captured in various settings. Our dataset can complement existing datasets on various facial-related tasks, such as facial synthesis with 2D/3D-aware GAN, diffusion-based text-to-image face generation, and face reenactment. Specifically, training with EFHQ helps models generalize well across diverse poses, significantly improving performance in scenarios involving extreme views, confirmed by extensive experiments. Additionally, we utilize EFHQ to define a challenging cross-view face verification benchmark, in which the performance of SOTA face recognition models drops 5-37\% compared to frontal-to-frontal scenarios, aiming to stimulate studies on face recognition under severe pose conditions in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google