GeniL: A Multilingual Dataset on Generalizing Language

要約

生成言語モデルは私たちのデジタル エコシステムを変革していますが、多くの場合、特定の属性を特定のアイデンティティ グループに関連付けるステレオタイプなど、社会的な偏見を受け継いでいます。
これらのバイアスが軽減されるかどうか、またどのように軽減されるかは特定のユースケースによって異なりますが、ステレオタイプの永続化のインスタンスを効果的に検出できることが重要な最初のステップです。
生成された言語におけるステレオタイプの存在を評価する現在の方法は、単純なテンプレートまたは共起ベースの尺度に依存しており、それらが現れるさまざまな文のコンテキストを考慮していません。一般化のインスタンスを検出するには、文のコンテキストを理解することが重要であると私たちは主張します。
私たちは一般化を 2 つのタイプに区別します: (1) 一般化の存在に言及するだけの言語 (「人々はフランス人は非常に無礼だと考えている」)、および (2) そのような一般化を強化する言語 (「フランス人として彼らは無礼であるに違いない」)
）、一般化していない文脈から（「フランス人の友達は私が失礼だと思っている」）。
意味のあるステレオタイプ評価を行うには、そのような一般化のインスタンスを確実に区別する必要があります。
言語の一般化を検出する新しいタスクを導入し、9 言語 (英語、アラビア語、ベンガル語、スペイン語、フランス語、ヒンディー語、インドネシア語、マレー語、ポルトガル語) からの 50,000 文を超える多言語データセットである GeniL を構築し、一般化の例について注釈を付けました。
。
共起が一般化のインスタンスである可能性は通常低く、異なる言語、アイデンティティ グループ、および属性によって異なることを示します。
全体的な PR-AUC が 58.7 である言語の一般化を検出する分類器を構築しましたが、言語間でパフォーマンスの程度は異なります。
私たちの研究は、より包括的で責任ある言語テクノロジーに向けた重要なステップである、ステレオタイプの永続化についての微妙な理解を可能にするデータとツールを提供します。

要約(オリジナル)

Generative language models are transforming our digital ecosystem, but they often inherit societal biases, for instance stereotypes associating certain attributes with specific identity groups. While whether and how these biases are mitigated may depend on the specific use cases, being able to effectively detect instances of stereotype perpetuation is a crucial first step. Current methods to assess presence of stereotypes in generated language rely on simple template or co-occurrence based measures, without accounting for the variety of sentential contexts they manifest in. We argue that understanding the sentential context is crucial for detecting instances of generalization. We distinguish two types of generalizations: (1) language that merely mentions the presence of a generalization (‘people think the French are very rude’), and (2) language that reinforces such a generalization (‘as French they must be rude’), from non-generalizing context (‘My French friends think I am rude’). For meaningful stereotype evaluations, we need to reliably distinguish such instances of generalizations. We introduce the new task of detecting generalization in language, and build GeniL, a multilingual dataset of over 50K sentences from 9 languages (English, Arabic, Bengali, Spanish, French, Hindi, Indonesian, Malay, and Portuguese) annotated for instances of generalizations. We demonstrate that the likelihood of a co-occurrence being an instance of generalization is usually low, and varies across different languages, identity groups, and attributes. We build classifiers to detect generalization in language with an overall PR-AUC of 58.7, with varying degrees of performance across languages. Our research provides data and tools to enable a nuanced understanding of stereotype perpetuation, a crucial step towards more inclusive and responsible language technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google