How Do Generative Models Draw a Software Engineer? A Case Study on Stable Diffusion Bias

要約

生成モデルは現在、複数の目的で使用されるグラフィック コンテンツを生成するために広く使用されています。
ウェブ、アート、広告。
しかし、これらのモデルによって生成されたイメージは、特定の状況においてすでに存在する社会的偏見を強化する可能性があることが示されています。
この論文では、さまざまなソフトウェア エンジニアリング タスクに関連するイメージを生成するときにこれが当てはまるかどうかを理解することに焦点を当てます。
実際、ソフトウェア エンジニアリング (SE) コミュニティは性別や民族性の違いから逃れられないわけではなく、これらのモデルの使用によって格差が拡大する可能性があります。
したがって、人工的に生成された画像を意識せずに使用すると、SE 領域におけるこれらのバイアスが強化される可能性があります。
具体的には、安定拡散 (SD) モデル (非常に人気のあるオープンソースのテキストから画像への変換モデル) の 3 つのバージョンである SD 2、SD XL、SD 3 によって明らかになったジェンダーと民族性のバイアスについて広範な実証的評価を実行します。
– SEタスクに向けて。
さまざまなソフトウェア関連タスクを説明する 2 セットのプロンプトを各モデルに入力することにより、6,720 枚の画像を取得します。1 セットにはソフトウェア エンジニアのキーワードが含まれ、もう 1 セットにはタスクを実行する人の詳細は含まれません。
次に、生成された画像内の性別と民族性の差異を評価します。
結果は、ソフトウェア エンジニアを表す場合、すべてのモデルが男性の人物に大きく偏っていることを示しています。
逆に、SD 2 と SD XL は白人の人物に強く偏っていますが、SD 3 はアジア人の人物にわずかに偏っています。
それにもかかわらず、使用されているプロンプト スタイルに関係なく、すべてのモデルは黒人およびアラブ人の人物を大幅に過小評価しています。
私たちの分析結果は、SE タスクのコンテンツを生成するためにこれらのモデルを採用することに対する深刻な懸念を浮き彫りにし、この文脈でのバイアス軽減に関する将来の研究の余地を与えます。

要約(オリジナル)

Generative models are nowadays widely used to generate graphical content used for multiple purposes, e.g. web, art, advertisement. However, it has been shown that the images generated by these models could reinforce societal biases already existing in specific contexts. In this paper, we focus on understanding if this is the case when one generates images related to various software engineering tasks. In fact, the Software Engineering (SE) community is not immune from gender and ethnicity disparities, which could be amplified by the use of these models. Hence, if used without consciousness, artificially generated images could reinforce these biases in the SE domain. Specifically, we perform an extensive empirical evaluation of the gender and ethnicity bias exposed by three versions of the Stable Diffusion (SD) model (a very popular open-source text-to-image model) – SD 2, SD XL, and SD 3 – towards SE tasks. We obtain 6,720 images by feeding each model with two sets of prompts describing different software-related tasks: one set includes the Software Engineer keyword, and one set does not include any specification of the person performing the task. Next, we evaluate the gender and ethnicity disparities in the generated images. Results show how all models are significantly biased towards male figures when representing software engineers. On the contrary, while SD 2 and SD XL are strongly biased towards White figures, SD 3 is slightly more biased towards Asian figures. Nevertheless, all models significantly under-represent Black and Arab figures, regardless of the prompt style used. The results of our analysis highlight severe concerns about adopting those models to generate content for SE tasks and open the field for future research on bias mitigation in this context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google