GANDiffFace: Controllable Generation of Synthetic Datasets for Face Recognition with Realistic Variations

要約

顔認識システムは、大規模なデータセットの利用可能性により、近年大幅に進歩しました。
しかし、最近では、確立された公開データセットの中止につながるプライバシー上の懸念など、いくつかの問題が浮上しています。
現在の合成方法には、クラス内変動の制限、現実性の欠如、人口統計グループの不公平な表現などの他の欠点があるにもかかわらず、合成データセットが解決策として登場しました。
この研究では、顔認識用の合成データセットを生成するための新しいフレームワークである GANDiffFace を紹介します。これは、敵対的生成ネットワーク (GAN) と拡散モデルの力を組み合わせて、既存の合成データセットの制限を克服します。
GANDiffFace では、まず、非常に現実的なアイデンティティを合成し、ターゲットとなる人口統計分布を満たすために GAN を使用することを提案します。
続いて、GAN で生成された画像を使用して拡散モデルを微調整し、さまざまなアクセサリー、ポーズ、表情、コンテキストを備えた同じアイデンティティの複数の画像を合成します。
GANDiffFace 設定を変更して複数の合成データセットを生成し、それらの合致スコア分布と非合致スコア分布を、顔認識用の一般的な現実世界のデータセット (VGG2 や IJB-C) によって提供される分布と比較します。
私たちの結果は、提案された GANDiffFace の実現可能性、特に GAN によって提供される (限定された) クラス内バリエーションを現実世界のデータセットのレベルに向けて強化するための拡散モデルの使用を示しています。

要約(オリジナル)

Face recognition systems have significantly advanced in recent years, driven by the availability of large-scale datasets. However, several issues have recently came up, including privacy concerns that have led to the discontinuation of well-established public datasets. Synthetic datasets have emerged as a solution, even though current synthesis methods present other drawbacks such as limited intra-class variations, lack of realism, and unfair representation of demographic groups. This study introduces GANDiffFace, a novel framework for the generation of synthetic datasets for face recognition that combines the power of Generative Adversarial Networks (GANs) and Diffusion models to overcome the limitations of existing synthetic datasets. In GANDiffFace, we first propose the use of GANs to synthesize highly realistic identities and meet target demographic distributions. Subsequently, we fine-tune Diffusion models with the images generated with GANs, synthesizing multiple images of the same identity with a variety of accessories, poses, expressions, and contexts. We generate multiple synthetic datasets by changing GANDiffFace settings, and compare their mated and non-mated score distributions with the distributions provided by popular real-world datasets for face recognition, i.e. VGG2 and IJB-C. Our results show the feasibility of the proposed GANDiffFace, in particular the use of Diffusion models to enhance the (limited) intra-class variations provided by GANs towards the level of real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google