Stereotypes and Smut: The (Mis)representation of Non-cisgender Identities by Text-to-Image Models

要約

最先端の画像生成は高品質の画像を生成することで賞賛されており、さまざまなアプリケーションでユビキタスな未来を示唆しています。
しかし、初期の研究では、文化的な固定観念を反映し、潜在的に強化する予測バイアスによる害の可能性が指摘されています。
この研究では、マルチモーダル モデルが多様な性同一性をどのように処理するかを初めて調査しました。
具体的には、シスジェンダーと非シスジェンダーのアイデンティティ用語を含むプロンプトの 3 つの画像生成モデルの出力を比較する徹底的な分析を実行します。
私たちの調査結果は、特定の非シスジェンダーのアイデンティティが一貫して人間らしくなく、より固定観念的で、より性的なものとして（誤って）表現されていることを示しています。
私たちは実験分析を (a) 非シスジェンダーの人々を対象とした調査と (b) 一連のインタビューで補完し、影響を受ける人々がどのような危害を予想しているのか、そして彼らがどのように表現されることを望んでいるのかを明らかにします。
回答者は特に不実表示や、有害な行動や信念を助長する可能性を懸念していることがわかりました。
不快なコンテンツを制限するための単純なヒューリスティックは広く拒否され、代わりに回答者はコミュニティへの参加、厳選されたトレーニング データ、カスタマイズ機能を求めています。
これらの改善は、影響を受けるコミュニティが変化を主導し、時代遅れで不快な固定観念を再生産するのではなく、テクノロジーが積極的に「私たちが考えもしなかった方法でクィアネスを[描く]」ために使用される未来への道を開く可能性があります。

要約(オリジナル)

Cutting-edge image generation has been praised for producing high-quality images, suggesting a ubiquitous future in a variety of applications. However, initial studies have pointed to the potential for harm due to predictive bias, reflecting and potentially reinforcing cultural stereotypes. In this work, we are the first to investigate how multimodal models handle diverse gender identities. Concretely, we conduct a thorough analysis in which we compare the output of three image generation models for prompts containing cisgender vs. non-cisgender identity terms. Our findings demonstrate that certain non-cisgender identities are consistently (mis)represented as less human, more stereotyped and more sexualised. We complement our experimental analysis with (a)~a survey among non-cisgender individuals and (b) a series of interviews, to establish which harms affected individuals anticipate, and how they would like to be represented. We find respondents are particularly concerned about misrepresentation, and the potential to drive harmful behaviours and beliefs. Simple heuristics to limit offensive content are widely rejected, and instead respondents call for community involvement, curated training data and the ability to customise. These improvements could pave the way for a future where change is led by the affected community, and technology is used to positively “[portray] queerness in ways that we haven’t even thought of” rather than reproducing stale, offensive stereotypes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google