Building Socio-culturally Inclusive Stereotype Resources with Community Engagement

要約

世界的な環境における生成言語モデルの急速な開発と展開に伴い、対象となる危害の数や種類だけでなく、疎外されたアイデンティティや彼らが経験する社会的偏見など、地域の文化的背景をどの程度考慮しているかという危害の測定も緊急に行う必要がある。
現在の評価パラダイムは、多様な地域的視点を代表するものではなく、グローバルな社会文化的視点を代表するものであるため、これに対処する能力には限界があります。
危害の評価における重大な過小評価や偏りを防ぐために、世界中のさまざまな文化や社会の人々や経験を含めることによって、評価リソースを強化し、調整することが不可欠です。
この研究では、インドの社会的文脈において、特に固定観念の害に対して、社会文化的に意識した評価リソースの拡大を実証します。
私たちは、インドに特有の格差軸に対する固定観念を含むリソースを構築するために、コミュニティが参加する取り組みを考案しました。
結果として得られるリソースにより、インドの文脈で知られているステレオタイプの数が、多くの固有のアイデンティティにわたって 1000 を超えるステレオタイプによって増加します。
また、言語モデルの評価のためのこのような拡張されたリソースの有用性と有効性も実証します。
内容に関する警告: この文書には、不快感を与える可能性のある固定概念の例が含まれています。

要約(オリジナル)

With rapid development and deployment of generative language models in global settings, there is an urgent need to also scale our measurements of harm, not just in the number and types of harms covered, but also how well they account for local cultural contexts, including marginalized identities and the social biases experienced by them. Current evaluation paradigms are limited in their abilities to address this, as they are not representative of diverse, locally situated but global, socio-cultural perspectives. It is imperative that our evaluation resources are enhanced and calibrated by including people and experiences from different cultures and societies worldwide, in order to prevent gross underestimations or skews in measurements of harm. In this work, we demonstrate a socio-culturally aware expansion of evaluation resources in the Indian societal context, specifically for the harm of stereotyping. We devise a community engaged effort to build a resource which contains stereotypes for axes of disparity that are uniquely present in India. The resultant resource increases the number of stereotypes known for and in the Indian context by over 1000 stereotypes across many unique identities. We also demonstrate the utility and effectiveness of such expanded resources for evaluations of language models. CONTENT WARNING: This paper contains examples of stereotypes that may be offensive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google