From Languages to Geographies: Towards Evaluating Cultural Bias in Hate Speech Datasets

要約

憎しみの認識は、文化的文脈によって大きく異なります。
ただし、ヘイトスピーチ（HS）データセットは、伝統的に言語によって開発されてきました。
これは、異なる文化の本拠地であるさまざまな国で1つの言語が話される可能性があるため、潜在的な文化的偏見を隠しています。
この作業では、2つの相互に関連する文化的プロキシという言語と地理を活用することにより、HSデータセットの文化的バイアスを評価します。
HSデータセットの体系的な調査を8つの言語で実施し、英語のバイアスに関する過去の調査結果を確認しますが、このバイアスが過去数年で着実に減少していることも示しています。
英語、アラビア語、スペイン語の3つの地理的に広がっている言語では、地理的メタデータをツイートから活用して、言語と国の情報を組み合わせることにより、地理文化的コンテキストを近似します。
これらの言語のHSデータセットは、より広範なソーシャルメディア集団とこれらの言語を話す一般人口の両方での顕著な点と比較して、ほんの一握りの国（例えば、米国と英国）を過剰に表現する強力な地理文化的バイアスを示していることがわかります。
これらの調査結果に基づいて、将来のHSデータセットの作成に関する推奨事項を策定します。

要約(オリジナル)

Perceptions of hate can vary greatly across cultural contexts. Hate speech (HS) datasets, however, have traditionally been developed by language. This hides potential cultural biases, as one language may be spoken in different countries home to different cultures. In this work, we evaluate cultural bias in HS datasets by leveraging two interrelated cultural proxies: language and geography. We conduct a systematic survey of HS datasets in eight languages and confirm past findings on their English-language bias, but also show that this bias has been steadily decreasing in the past few years. For three geographically-widespread languages — English, Arabic and Spanish — we then leverage geographical metadata from tweets to approximate geo-cultural contexts by pairing language and country information. We find that HS datasets for these languages exhibit a strong geo-cultural bias, largely overrepresenting a handful of countries (e.g., US and UK for English) relative to their prominence in both the broader social media population and the general population speaking these languages. Based on these findings, we formulate recommendations for the creation of future HS datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google