TCDiff: Triple Condition Diffusion Model with 3D Constraints for Stylizing Synthetic Faces

要約

堅牢な顔認識モデルは、さまざまな条件 (ポーズ、表情、年齢、ノイズ、オクルージョンなど) の下で多数の被験者と被験者ごとの多数のサンプルを含むデータセットを使用してトレーニングする必要があります。
倫理とプライバシーの問題により、MS1MV3 などの大規模な本物の顔データセットは廃止され、SYNFace、SFace、DigiFace-1M、IDiff-Face、DCFace などの GAN と拡散モデルを利用した合成顔生成ツールが提案されています。
、および GAN​​DiffFace は、この需要に応えることを目指しています。
これらの方法の中には、クラス内分散が低くても忠実度の高いリアルな顔を生成できるものもありますが、同一性の一貫性が低く、分散が高い顔を生成するものもあります。
この論文では、2D および 3D の顔の制約を通じて本物の顔から合成顔への顔スタイルの変換を改善し、必要な高いクラス内分散を維持しながら顔の同一性の一貫性を強化するための Triple Condition Diffusion Model (TCDiff) を提案します。
トレーニングに新しいデータセットの 1k、2k、および 5k クラスを使用した顔認識実験は、LFW、CFP-FP、AgeDB、BUPT などの本物の顔ベンチマークで最先端の合成データセットを上回るパフォーマンスを発揮します。
ソース コードは https://github.com/BOVIFOCR/tcdiff から入手できます。

要約(オリジナル)

A robust face recognition model must be trained using datasets that include a large number of subjects and numerous samples per subject under varying conditions (such as pose, expression, age, noise, and occlusion). Due to ethical and privacy concerns, large-scale real face datasets have been discontinued, such as MS1MV3, and synthetic face generators have been proposed, utilizing GANs and Diffusion Models, such as SYNFace, SFace, DigiFace-1M, IDiff-Face, DCFace, and GANDiffFace, aiming to supply this demand. Some of these methods can produce high-fidelity realistic faces, but with low intra-class variance, while others generate high-variance faces with low identity consistency. In this paper, we propose a Triple Condition Diffusion Model (TCDiff) to improve face style transfer from real to synthetic faces through 2D and 3D facial constraints, enhancing face identity consistency while keeping the necessary high intra-class variance. Face recognition experiments using 1k, 2k, and 5k classes of our new dataset for training outperform state-of-the-art synthetic datasets in real face benchmarks such as LFW, CFP-FP, AgeDB, and BUPT. Our source code is available at: https://github.com/BOVIFOCR/tcdiff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google