Uncovering Bias in Face Generation Models

要約

GAN と拡散モデルの最近の進歩により、高解像度で超リアルな画像の作成が可能になりました。
ただし、これらのモデルは特定の社会集団を誤って表している可能性があり、バイアスが存在する可能性があります。
これらのモデルの偏りを理解することは、特に重要な意思決定をサポートし、マイノリティに影響を与える可能性のあるタスクについて、重要な研究課題のままです。
この作業の貢献は、ジェネレーター、属性修飾子、および後処理バイアス軽減剤の 3 つのアプローチに対するバイアスをきめ細かく理解するためのアーキテクチャと埋め込みスペースをカバーする新しい分析です。
この研究は、ジェネレーターがすべての社会的グループにわたってバイアスに苦しんでいることを示しています。たとえば、白人の場合は 75% ～ 85%、女性の性別の場合は 60% ～ 80% (すべてのトレーニング済みの CelebA モデル) などの属性の好みがあり、子供以上の世代を生成する可能性は低いです。
男性。
モディファイアとミティゲーターはポストプロセッサーとして機能し、ジェネレーターのパフォーマンスを変更します。
たとえば、属性チャネルの摂動戦略は、埋め込みスペースを変更します。
画質とグループ機能への影響を測定することにより、グループの公平性に対するこの変更の影響を定量化します。
具体的には、Fr\’echet Inception Distance (FID)、Face Matching Error、Self-Similarity スコアを使用します。
Interfacegan では、1 属性チャネルと 2 属性チャネルの摂動を分析し、公平性分布と画像の品質への影響を調べます。
最後に、バイアスを軽減するための最速かつ最も計算効率の高い方法である後処理バイアス軽減策を分析しました。
これらの軽減手法は、KL 発散と FID スコアで同様の結果を示していることがわかりますが、自己相似性スコアは、データ分布の新しいグループで異なる機能集中を示しています。
この作業で説明されている弱点と進行中の課題は、公正で偏りのない顔生成モデルの作成を追求する際に考慮する必要があります。

要約(オリジナル)

Recent advancements in GANs and diffusion models have enabled the creation of high-resolution, hyper-realistic images. However, these models may misrepresent certain social groups and present bias. Understanding bias in these models remains an important research question, especially for tasks that support critical decision-making and could affect minorities. The contribution of this work is a novel analysis covering architectures and embedding spaces for fine-grained understanding of bias over three approaches: generators, attribute modifier, and post-processing bias mitigators. This work shows that generators suffer from bias across all social groups with attribute preferences such as between 75%-85% for whiteness and 60%-80% for the female gender (for all trained CelebA models) and low probabilities of generating children and older men. Modifier and mitigators work as post-processor and change the generator performance. For instance, attribute channel perturbation strategies modify the embedding spaces. We quantify the influence of this change on group fairness by measuring the impact on image quality and group features. Specifically, we use the Fr\’echet Inception Distance (FID), the Face Matching Error and the Self-Similarity score. For Interfacegan, we analyze one and two attribute channel perturbations and examine the effect on the fairness distribution and the quality of the image. Finally, we analyzed the post-processing bias mitigators, which are the fastest and most computationally efficient way to mitigate bias. We find that these mitigation techniques show similar results on KL divergence and FID score, however, self-similarity scores show a different feature concentration on the new groups of the data distribution. The weaknesses and ongoing challenges described in this work must be considered in the pursuit of creating fair and unbiased face generation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google