CREHate: A CRoss-cultural English Hate Speech Dataset

要約

ほとんどの NLP データセットは言語話者間の文化的多様性を無視しているため、ヘイトスピーチ検出やその他の文化的に敏感なタスクにおいて重大な欠点が生じています。
これに対処するために、異文化間英語ヘイトスピーチ データセットである CREHate を導入します。
CREHate を構築するには、1) 文化固有の投稿収集と 2) 異文化間のアノテーションという 2 段階の手順に従います。
主に北米を代表する SBIC データセットから投稿をサンプリングし、調査から取得した文化固有のヘイトスピーチ キーワードを使用して、地理的に異なる英語圏 4 か国からの投稿を収集します。
その後、英語圏の 4 か国に米国を加えたものから注釈が収集され、各国の代表的なラベルが確立されます。
私たちの分析は、異文化間のヘイトスピーチの注釈における統計的に有意な差異を浮き彫りにしました。
CREHate の投稿のうち、5 か国すべてで合意に達しているのはわずか 56.2% であり、ペアごとの不一致率のピークは 26% です。
注釈は、ラベルの不一致が投稿に固有の文化的背景、主観性、曖昧さから生じる傾向があることを示しています。
最後に、単一文化分類器よりも各国のラベルをより正確に予測する異文化間ヘイトスピーチ分類器を開発します。
これは、文化的に敏感なヘイトスピーチ分類器を構築するための CREHate の有用性を裏付けています。

要約(オリジナル)

Most NLP datasets neglect the cultural diversity among language speakers, resulting in a critical shortcoming in hate speech detection and other culturally sensitive tasks. To address this, we introduce CREHate, a CRoss-cultural English Hate speech dataset. To construct CREHate, we follow a two-step procedure: 1) culture-specific post collection and 2) cross-cultural annotation. We sample posts from the SBIC dataset, which predominantly represents North America, and collect posts from four geographically diverse English-speaking countries using culture-specific hate speech keywords that we retrieve from our survey. Annotations are then collected from those four English-speaking countries plus the US to establish representative labels for each country. Our analysis highlights statistically significant disparities in cross-cultural hate speech annotations. Only 56.2% of the posts in CREHate achieve consensus among all five countries, with a peak pairwise disagreement rate of 26%. The annotations show that label disagreements tend to come from the inherent cultural context, subjectivity, and ambiguity of the posts. Lastly, we develop cross-cultural hate speech classifiers that are more accurate at predicting each country’s labels than the monocultural classifiers. This confirms the utility of CREHate for constructing culturally sensitive hate speech classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google