Human and LLM Biases in Hate Speech Annotations: A Socio-Demographic Analysis of Annotators and Targets

要約

オンラインプラットフォームの台頭により、ヘイトスピーチの広がりが悪化し、スケーラブルで効果的な検出を要求しました。
ただし、ヘイトスピーチ検出システムの精度は、人間標識データに大きく依存しており、本質的にバイアスの影響を受けやすいです。
以前の研究ではこの問題が調査されていますが、アノテーターの特性と憎悪の標的の特性との相互作用はまだ未開拓です。
アノテーターとターゲットの両方の豊富な社会人口統計情報で広範なデータセットを活用することにより、このギャップを埋めて、ターゲットの属性に関連して人間の偏見がどのように現れるかを明らかにします。
分析は、広範囲にわたるバイアスの存在を表面化します。これは、その強度と有病率に基づいて定量的に説明および特徴付け、顕著な違いを明らかにします。
さらに、人間のバイアスをペルソナベースのLLMSが示すものと比較します。
私たちの調査結果は、ペルソナベースのLLMはバイアスを示す一方で、これらはヒトのアノテーターのバイアスとは大きく異なることを示しています。
全体として、私たちの作品は、ヘイトスピーチの注釈における人間のバイアスに関する新しい微妙な結果と、AI主導のヘイトスピーチ検出システムの設計に関する新鮮な洞察を提供します。

要約(オリジナル)

The rise of online platforms exacerbated the spread of hate speech, demanding scalable and effective detection. However, the accuracy of hate speech detection systems heavily relies on human-labeled data, which is inherently susceptible to biases. While previous work has examined the issue, the interplay between the characteristics of the annotator and those of the target of the hate are still unexplored. We fill this gap by leveraging an extensive dataset with rich socio-demographic information of both annotators and targets, uncovering how human biases manifest in relation to the target’s attributes. Our analysis surfaces the presence of widespread biases, which we quantitatively describe and characterize based on their intensity and prevalence, revealing marked differences. Furthermore, we compare human biases with those exhibited by persona-based LLMs. Our findings indicate that while persona-based LLMs do exhibit biases, these differ significantly from those of human annotators. Overall, our work offers new and nuanced results on human biases in hate speech annotations, as well as fresh insights into the design of AI-driven hate speech detection systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google