Evaluating ChatGPT’s Performance for Multilingual and Emoji-based Hate Speech Detection

要約

ヘイトスピーチは、多くのオンライン プラットフォームに影響を与える深刻な問題です。
これまでに、堅牢なヘイトスピーチ検出システムを開発するためにいくつかの研究が行われてきました。
ChatGPT のような大規模な言語モデルは、最近、ヘイトスピーチ検出などのいくつかのタスクを実行する上で大きな可能性を示しています。
ただし、より堅牢なヘイトスピーチ検出システムを構築するには、これらのモデルの制限を理解することが重要です。
したがって、このギャップを埋めるために、私たちの研究は、11 の言語にわたってヘイトスピーチを検出する際の ChatGPT モデルの弱点を詳細なレベルで評価することを目的としています。
さらに、ヘイトスピーチでの絵文字の使用などの複雑な感情が ChatGPT モデルのパフォーマンスに及ぼす影響を調査します。
私たちは分析を通じて、モデルによって生じたエラーを調査および調査し、特定の種類のヘイトスピーチの検出におけるモデルの欠点を明らかにし、ヘイトスピーチ検出におけるさらなる研究と改善の必要性を強調しています。

要約(オリジナル)

Hate speech is a severe issue that affects many online platforms. So far, several studies have been performed to develop robust hate speech detection systems. Large language models like ChatGPT have recently shown great potential in performing several tasks, including hate speech detection. However, it is crucial to comprehend the limitations of these models to build more robust hate speech detection systems. Thus to bridge the gap, our study aims to evaluate the weaknesses of the ChatGPT model in detecting hate speech at a granular level across 11 languages. In addition, we investigate the influence of complex emotions, such as the use of emojis in hate speech, on the performance of the ChatGPT model. Through our analysis, we examine and investigate the errors made by the model, shedding light on its shortcomings in detecting certain types of hate speech and highlighting the need for further research and improvements in hate speech detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google