Quantifying Bias in Text-to-Image Generative Models

要約

Text-to-Image (T2I) モデルのバイアスは、不公平な社会的表現を広める可能性があり、アイデアを積極的に売り込んだり、物議を醸す議題を推進したりするために使用される可能性があります。
既存の T2I モデルのバイアス評価方法は、社会的バイアスのみに焦点を当てています。
私たちはそれを超えて、先入観を持たずに T2I 生成モデルの一般的なバイアスを定量化する評価方法論を提案します。
私たちは 4 つの最先端の T2I モデルを評価し、そのベースラインのバイアス特性を、特定のバイアスが意図的に誘導されたそれぞれのバリアント (それぞれ 2 つ) と比較します。
モデルのバイアスを評価するために、(i) 分布バイアス、(ii) ジャカード幻覚、および (iii) 生成ミス率を含む 3 つの評価指標を提案します。
私たちは 2 つの評価研究を実施し、一般的な条件とタスク指向の条件におけるバイアスをモデル化し、後者のドメインとしてマーケティング シナリオを使用します。
また、社会的バイアスを定量化し、調査結果を関連研究と比較します。
最後に、私たちの方法論は、キャプション付き画像データセットを評価し、その偏りを測定するために移されます。
私たちのアプローチは客観的でドメインに依存せず、さまざまな形の T2I モデルのバイアスを一貫して測定します。
私たちは Web アプリケーションを開発し、この研究で提案されている内容を実際に実装しました (https://huggingface.co/spaces/JVice/try-before-you-bias にあります)。
デモを含むビデオ シリーズは、https://www.youtube.com/channel/UCk-0xyUyT0MSd_hkp4jQt1Q でご覧いただけます。

要約(オリジナル)

Bias in text-to-image (T2I) models can propagate unfair social representations and may be used to aggressively market ideas or push controversial agendas. Existing T2I model bias evaluation methods only focus on social biases. We look beyond that and instead propose an evaluation methodology to quantify general biases in T2I generative models, without any preconceived notions. We assess four state-of-the-art T2I models and compare their baseline bias characteristics to their respective variants (two for each), where certain biases have been intentionally induced. We propose three evaluation metrics to assess model biases including: (i) Distribution bias, (ii) Jaccard hallucination and (iii) Generative miss-rate. We conduct two evaluation studies, modelling biases under general, and task-oriented conditions, using a marketing scenario as the domain for the latter. We also quantify social biases to compare our findings to related works. Finally, our methodology is transferred to evaluate captioned-image datasets and measure their bias. Our approach is objective, domain-agnostic and consistently measures different forms of T2I model biases. We have developed a web application and practical implementation of what has been proposed in this work, which is at https://huggingface.co/spaces/JVice/try-before-you-bias. A video series with demonstrations is available at https://www.youtube.com/channel/UCk-0xyUyT0MSd_hkp4jQt1Q

arxiv情報

提供元, 利用サービス

arxiv.jp, Google