SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models

要約

ステレオタイプ ベンチマーク データセットは、NLP モデル内の人々のグループに関する社会的なステレオタイプを検出し、軽減するために重要です。
ただし、既存のデータセットはサイズと対象範囲が限られており、西側社会に蔓延している固定観念に大きく制限されています。
言語テクノロジーが世界中で定着するにつれ、これは特に問題となります。
このギャップに対処するために、PaLM や GPT-3 などの大規模言語モデルの生成機能を利用して構築された、広範囲に適用されるステレオタイプ データセットである SeeGULL を紹介します。また、世界的に多様な評価者プールを活用して、社会におけるステレオタイプの蔓延を検証します。
。
SeeGULL は英語で書かれており、6 大陸の 8 つの異なる地政学的地域、178 か国にわたるアイデンティティ グループと、米国とインド内の州レベルのアイデンティティに関するステレオタイプが含まれています。
また、さまざまなステレオタイプのきめ細かい攻撃性スコアも含め、世界的な差異を示します。
さらに、その地域に住むアノテーターと北米に拠点を置くアノテーターによる同じグループに関する比較アノテーションを含め、グループに関する地域内の固定観念が北米で一般的であるものとは異なることを示します。
内容に関する警告: この文書には、不快感を与える可能性のあるステレオタイプの例が含まれています。

要約(オリジナル)

Stereotype benchmark datasets are crucial to detect and mitigate social stereotypes about groups of people in NLP models. However, existing datasets are limited in size and coverage, and are largely restricted to stereotypes prevalent in the Western society. This is especially problematic as language technologies gain hold across the globe. To address this gap, we present SeeGULL, a broad-coverage stereotype dataset, built by utilizing generative capabilities of large language models such as PaLM, and GPT-3, and leveraging a globally diverse rater pool to validate the prevalence of those stereotypes in society. SeeGULL is in English, and contains stereotypes about identity groups spanning 178 countries across 8 different geo-political regions across 6 continents, as well as state-level identities within the US and India. We also include fine-grained offensiveness scores for different stereotypes and demonstrate their global disparities. Furthermore, we include comparative annotations about the same groups by annotators living in the region vs. those that are based in North America, and demonstrate that within-region stereotypes about groups differ from those prevalent in North America. CONTENT WARNING: This paper contains stereotype examples that may be offensive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google