Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale

要約

ユーザーが作成したテキストの説明を画像に変換する機械学習モデルは、現在オンラインで広く入手可能であり、何百万ものユーザーが一日に数百万枚の画像を生成するために使用しています。
私たちは、これらのモデルが危険で複雑な固定観念を増幅させる可能性を調査します。
単に特性、記述子、職業、またはオブジェクトについて言及するプロンプトを含む、幅広い通常のプロンプトがステレオタイプを生成していることがわかります。
例えば、基本的特性や社会的役割を促す結果として理想としての白人を強化するイメージを生み出したり、職業を求める結果として人種的・男女間の格差を増幅させたり、物体を求める結果としてアメリカの規範を具体化したりするケースが見られます。
ステレオタイプは、プロンプトでアイデンティティや人口統計上の言語に明示的に言及しているか、そのような言語を避けているかに関係なく存在します。
さらに、緩和戦略にもかかわらず、固定観念は存続します。
ユーザーが特定の反ステレオタイプの画像を要求してステレオタイプに対抗しようとしたり、システムに「ガードレール」を追加しようとした制度的な試みのいずれも、ステレオタイプの永続を妨げることはできませんでした。
私たちの分析は、今日のモデルの影響に関する懸念を正当化し、顕著な例を示し、これらの発見を社会科学と人文主義の分野から引き出された害に対する深い洞察と結びつけます。
この研究は、言語視覚モデルにおける独特の複雑なバイアスを解明する取り組みに貢献し、テキストから画像への生成モデルの大量導入がステレオタイプの大量普及とその結果として生じる害悪をどのように引き起こすかを実証しています。

要約(オリジナル)

Machine learning models that convert user-written text descriptions into images are now widely available online and used by millions of users to generate millions of images a day. We investigate the potential for these models to amplify dangerous and complex stereotypes. We find a broad range of ordinary prompts produce stereotypes, including prompts simply mentioning traits, descriptors, occupations, or objects. For example, we find cases of prompting for basic traits or social roles resulting in images reinforcing whiteness as ideal, prompting for occupations resulting in amplification of racial and gender disparities, and prompting for objects resulting in reification of American norms. Stereotypes are present regardless of whether prompts explicitly mention identity and demographic language or avoid such language. Moreover, stereotypes persist despite mitigation strategies; neither user attempts to counter stereotypes by requesting images with specific counter-stereotypes nor institutional attempts to add system “guardrails” have prevented the perpetuation of stereotypes. Our analysis justifies concerns regarding the impacts of today’s models, presenting striking exemplars, and connecting these findings with deep insights into harms drawn from social scientific and humanist disciplines. This work contributes to the effort to shed light on the uniquely complex biases in language-vision models and demonstrates the ways that the mass deployment of text-to-image generation models results in mass dissemination of stereotypes and resulting harms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google