Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models

要約

顔認識システムの精度は、収集された大量のデータとニューラル ネットワーク アーキテクチャの進歩のおかげで、ここ数年で大幅に向上しました。
ただし、これらの大規模なデータセットは明示的な同意なしに収集されることが多く、倫理的およびプライバシー上の懸念が生じます。
これに対処するために、顔認識モデルのトレーニングに合成データセットを使用することが提案されています。
しかし、そのようなモデルは生成モデルをトレーニングするために依然として実際のデータに依存しており、一般に実際のデータセットでトレーニングされたモデルと比較してパフォーマンスが劣ります。
これらのデータセットの 1 つである DigiFace は、グラフィックス パイプラインを使用して、モデルのトレーニングに実際のデータを使用せずに、さまざまな ID とさまざまなクラス内バリエーションを生成します。
ただし、このアプローチのパフォーマンスは、おそらくグラフィックス パイプラインから生成された画像のリアリズムの欠如が原因で、顔認識ベンチマークでは劣ります。
この研究では、合成的に生成された顔画像のリアリズムを強化することを目的としたリアリズム転送のための新しいフレームワークを導入します。
私たちの手法では大規模な顔基礎モデルを活用し、リアリズムを強化するためにパイプラインを適応させます。
グラフィックス パイプラインの制御可能な側面をリアリズム強化技術と統合することにより、両方のアプローチの利点を組み合わせて、大量のリアルなバリエーションを生成します。
私たちの経験的評価は、強化されたデータセットを使用してトレーニングされたモデルが顔認識システムのパフォーマンスをベースラインに比べて大幅に向上させることを示しています。
ソースコードとデータセットは一般に公開されます。

要約(オリジナル)

The accuracy of face recognition systems has improved significantly in the past few years, thanks to the large amount of data collected and the advancement in neural network architectures. However, these large-scale datasets are often collected without explicit consent, raising ethical and privacy concerns. To address this, there have been proposals to use synthetic datasets for training face recognition models. Yet, such models still rely on real data to train the generative models and generally exhibit inferior performance compared to those trained on real datasets. One of these datasets, DigiFace, uses a graphics pipeline to generate different identities and different intra-class variations without using real data in training the models. However, the performance of this approach is poor on face recognition benchmarks, possibly due to the lack of realism in the images generated from the graphics pipeline. In this work, we introduce a novel framework for realism transfer aimed at enhancing the realism of synthetically generated face images. Our method leverages the large-scale face foundation model, and we adapt the pipeline for realism enhancement. By integrating the controllable aspects of the graphics pipeline with our realism enhancement technique, we generate a large amount of realistic variations-combining the advantages of both approaches. Our empirical evaluations demonstrate that models trained using our enhanced dataset significantly improve the performance of face recognition systems over the baseline. The source code and datasets will be made available publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google