DIG In: Evaluating Disparities in Image Generations with Indicators for Geographic Diversity

要約

最近のテキストから画像への生成システムによって達成される前例のないフォトリアリスティックな結果と、プラグアンドプレイのコンテンツ作成ソリューションとしての使用の増加により、その潜在的なバイアスを理解することが重要になっています。
この研究では、世界中からオブジェクトを生成するように促されたときの、テキストから画像への生成システムのリアリズム、多様性、およびプロンプト生成の一貫性を評価する 3 つの指標を導入します。
当社の指標は、責任あるビジュアル コンテンツ作成システムの構築に向けた重要なステップである地理的格差の自動かつ効率的なベンチマークを可能にすることで、そのようなシステムの広範な影響の定性分析を補完します。
私たちは、提案された指標を使用して、最先端のビジュアル コンテンツ作成システムにおける潜在的な地理的偏りを分析し、次のことを発見しました。(1) アフリカと西アジアをプロンプトする場合、モデルはヨーロッパよりも現実性と世代の多様性が低い、(2)
地理情報によるプロンプトには、生成される画像のプロンプトの一貫性と多様性が犠牲になります。(3) モデルは、一部のオブジェクトについては他のオブジェクトよりも地域レベルの差異が大きくなります。
おそらく最も興味深いのは、私たちの指標は、画像生成の品質の進歩が現実世界の地理表現を犠牲にしていることを示唆していることです。
私たちの総合的な評価は、すべての人にビジュアル コンテンツ作成のポジティブな体験を保証するための重要なステップとなります。

要約(オリジナル)

The unprecedented photorealistic results achieved by recent text-to-image generative systems and their increasing use as plug-and-play content creation solutions make it crucial to understand their potential biases. In this work, we introduce three indicators to evaluate the realism, diversity and prompt-generation consistency of text-to-image generative systems when prompted to generate objects from across the world. Our indicators complement qualitative analysis of the broader impact of such systems by enabling automatic and efficient benchmarking of geographic disparities, an important step towards building responsible visual content creation systems. We use our proposed indicators to analyze potential geographic biases in state-of-the-art visual content creation systems and find that: (1) models have less realism and diversity of generations when prompting for Africa and West Asia than Europe, (2) prompting with geographic information comes at a cost to prompt-consistency and diversity of generated images, and (3) models exhibit more region-level disparities for some objects than others. Perhaps most interestingly, our indicators suggest that progress in image generation quality has come at the cost of real-world geographic representation. Our comprehensive evaluation constitutes a crucial step towards ensuring a positive experience of visual content creation for everyone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google