DCFace: Synthetic Face Generation with Dual Condition Diffusion Model

要約

タイトル：DCFce：二重条件拡散モデルによる合成顔生成

要約：
– 顔認識モデルのトレーニングのための合成データセットの生成は、高い忠実度の画像を作成する以上の課題である。
– 生成されたデータセットには、同じ被写体の複数の画像を、姿勢や照明、表情、年齢、隠れた部分など、異なる要因の下で生成する必要があり、現実画像条件分布に従う必要がある。
– 以前の研究では、GANや3Dモデルを使用して合成データセットの生成を研究してきた。本研究では、被写体の外観 (ID) と外部要因 (スタイル) とを組み合わせることから問題に取り組んでいる。これら二つの条件は、クラス内とクラス間の変動を正確に制御するための直接的な手段を提供する。
– このため、二重条件フェイスジェネレータ (DCFace) を提案している。Patch-wiseスタイル抽出器とTime-step依存IDロスを用いることで、DCFaceは同じ被写体の顔の画像を異なるスタイル下で一貫して生成し、正確に制御することができる。
– 提案されたDCFaceから合成された合成イメージを使用してトレーニングされた顔認識モデルは、LFW、CFP-FP、CPLFW、AgeDB、およびCALFWの5つのテストデータセットの中で、平均で6.11％の検証正確度が向上した。コードはhttps://github.com/mk-minchul/dcfaceで入手可能です。

要約(オリジナル)

Generating synthetic datasets for training face recognition models is challenging because dataset generation entails more than creating high fidelity images. It involves generating multiple images of same subjects under different factors (\textit{e.g.}, variations in pose, illumination, expression, aging and occlusion) which follows the real image conditional distribution. Previous works have studied the generation of synthetic datasets using GAN or 3D models. In this work, we approach the problem from the aspect of combining subject appearance (ID) and external factor (style) conditions. These two conditions provide a direct way to control the inter-class and intra-class variations. To this end, we propose a Dual Condition Face Generator (DCFace) based on a diffusion model. Our novel Patch-wise style extractor and Time-step dependent ID loss enables DCFace to consistently produce face images of the same subject under different styles with precise control. Face recognition models trained on synthetic images from the proposed DCFace provide higher verification accuracies compared to previous works by $6.11\%$ on average in $4$ out of $5$ test datasets, LFW, CFP-FP, CPLFW, AgeDB and CALFW. Code is available at https://github.com/mk-minchul/dcface

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI