What is a Fair Diffusion Model? Designing Generative Text-To-Image Models to Incorporate Various Worldviews

要約

Generative text-to-image (GTI) モデルは、短いテキストの説明から高品質の画像を生成し、学術分野やクリエイティブ分野で広く使用されています。
ただし、GTI モデルはトレーニング データからバイアスを増幅することが多く、偏見のあるイメージや固定的なイメージを生成することがよくあります。
しかし、現在の偏見緩和戦略は限られており、主に職業間の男女平等を強制することに焦点を当てています。
GTI バイアスの軽減を強化するために、生成された画像に影響を与える GTI モデルの態度、価値観、ストーリー、世界の期待を分析および操作するツールである DiffusionWorldViewer を導入します。
Web ベースの GUI および Jupyter Notebook プラグインとして展開されたインタラクティブ インターフェイスを通じて、DiffusionWorldViewer は、GTI で生成された画像の既存の人口統計を分類し、画像人口統計をユーザーの世界観に合わせるための対話型メソッドを提供します。
13 人の GTI ユーザーを対象とした調査では、DifffusionWorldViewer を使用すると、どの GTI 出力が公平であるかについてユーザーがさまざまな視点を表現できるようになり、そうすることで、普遍的な世界観を前提とする現在の公平性の概念に疑問を投げかけることがわかりました。

要約(オリジナル)

Generative text-to-image (GTI) models produce high-quality images from short textual descriptions and are widely used in academic and creative domains. However, GTI models frequently amplify biases from their training data, often producing prejudiced or stereotypical images. Yet, current bias mitigation strategies are limited and primarily focus on enforcing gender parity across occupations. To enhance GTI bias mitigation, we introduce DiffusionWorldViewer, a tool to analyze and manipulate GTI models’ attitudes, values, stories, and expectations of the world that impact its generated images. Through an interactive interface deployed as a web-based GUI and Jupyter Notebook plugin, DiffusionWorldViewer categorizes existing demographics of GTI-generated images and provides interactive methods to align image demographics with user worldviews. In a study with 13 GTI users, we find that DiffusionWorldViewer allows users to represent their varied viewpoints about what GTI outputs are fair and, in doing so, challenges current notions of fairness that assume a universal worldview.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google