FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models

要約

Text-to-Image (T2I) モデルの急速な開発と参入障壁の低下により、その出力におけるバイアスに関する懸念が生じていますが、既存の研究にはバイアスの全体的な定義と評価の枠組みが欠けており、バイアス除去技術の強化には限界があります。
この問題に対処するために、T2I モデルのバイアスの総合的かつ正確なベンチマークである FAIntbench を導入します。
限られた側面でバイアスを評価する既存のベンチマークとは対照的に、FAIntbench はバイアスの発現、バイアスの可視性、獲得された属性、保護された属性の 4 つの側面からバイアスを評価します。
私たちは、FAIntbench を適用して最近の 7 つの大規模 T2I モデルを評価し、人間による評価を実施しました。その結果、さまざまなバイアスの特定における FAIntbench の有効性が実証されました。
私たちの研究では、蒸留の副作用を含むバイアスに関する新たな研究上の疑問も明らかになりました。
ここで紹介した調査結果は暫定的なものであり、T2I モデルのバイアスを軽減することを目的とした将来の研究を前進させる FAIntbench の可能性を強調しています。
再現性を確保するために、当社のベンチマークは公開されています。

要約(オリジナル)

The rapid development and reduced barriers to entry for Text-to-Image (T2I) models have raised concerns about the biases in their outputs, but existing research lacks a holistic definition and evaluation framework of biases, limiting the enhancement of debiasing techniques. To address this issue, we introduce FAIntbench, a holistic and precise benchmark for biases in T2I models. In contrast to existing benchmarks that evaluate bias in limited aspects, FAIntbench evaluate biases from four dimensions: manifestation of bias, visibility of bias, acquired attributes, and protected attributes. We applied FAIntbench to evaluate seven recent large-scale T2I models and conducted human evaluation, whose results demonstrated the effectiveness of FAIntbench in identifying various biases. Our study also revealed new research questions about biases, including the side-effect of distillation. The findings presented here are preliminary, highlighting the potential of FAIntbench to advance future research aimed at mitigating the biases in T2I models. Our benchmark is publicly available to ensure the reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google