New Job, New Gender? Measuring the Social Bias in Image Generation Models

要約

画像生成モデルは、指定されたテキストから画像を生成または編集できます。
DALL-E や Midjourney に代表される画像生成技術の最近の進歩は画期的なものです。
これらの高度なモデルは、その優れた機能にもかかわらず、大規模なインターネット データセットでトレーニングされることが多く、社会的な固定観念や偏見を永続させるコンテンツが生成されやすくなり、深刻な結果につながる可能性があります。
画像生成モデル内のバイアスを評価することに関するこれまでの研究には、精度が限られていること、多大な人間の作業に依存していること、包括的な分析が欠如していることなど、いくつかの欠点がありました。
この論文では、画像生成モデルにおいて社会的バイアスを正確、自動的かつ包括的にトリガーできる新しいメタモーフィック テスト フレームワークである BiasPainter を提案します。
BiasPainter は、個人の多様なシード画像を使用し、性別、人種、年齢に依存しないクエリを使用して画像生成モデルにこれらの画像を編集するよう促します。
これらのクエリは、62 の職業、39 の活動、57 種類のオブジェクト、および 70 の性格特性に及びます。
次に、フレームワークは、編集された画像を元のシード画像と比較し、性別、人種、年齢に関連する変更に焦点を当てます。
BiasPainter は、中立的なプロンプトにさらされたときにこれらの特性が変更されるべきではないというテストオラクルを採用します。
この設計に基づいて構築された BiasPainter は、社会的バイアスをトリガーし、画像生成モデルの公平性を評価できます。
BiasPainter の有効性を評価するために、BiasPainter を使用して、安定拡散や Midjourney など、広く使用されている 5 つの商用画像生成ソフトウェアとモデルをテストします。
実験結果は、生成されたテスト ケースの 100\% が画像生成モデルで社会的バイアスを正常にトリガーできることを示しています。

要約(オリジナル)

Image generation models can generate or edit images from a given text. Recent advancements in image generation technology, exemplified by DALL-E and Midjourney, have been groundbreaking. These advanced models, despite their impressive capabilities, are often trained on massive Internet datasets, making them susceptible to generating content that perpetuates social stereotypes and biases, which can lead to severe consequences. Prior research on assessing bias within image generation models suffers from several shortcomings, including limited accuracy, reliance on extensive human labor, and lack of comprehensive analysis. In this paper, we propose BiasPainter, a novel metamorphic testing framework that can accurately, automatically and comprehensively trigger social bias in image generation models. BiasPainter uses a diverse range of seed images of individuals and prompts the image generation models to edit these images using gender, race, and age-neutral queries. These queries span 62 professions, 39 activities, 57 types of objects, and 70 personality traits. The framework then compares the edited images to the original seed images, focusing on any changes related to gender, race, and age. BiasPainter adopts a testing oracle that these characteristics should not be modified when subjected to neutral prompts. Built upon this design, BiasPainter can trigger the social bias and evaluate the fairness of image generation models. To evaluate the effectiveness of BiasPainter, we use BiasPainter to test five widely-used commercial image generation software and models, such as stable diffusion and Midjourney. Experimental results show that 100\% of the generated test cases can successfully trigger social bias in image generation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google