IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language

要約

ヘイトスピーチは社会の調和に重大な脅威をもたらします。
過去 2 年間で、インドネシアではオンラインのヘイトスピーチの割合が 10 倍に増加しており、効果的な検出メカニズムの緊急の必要性が浮き彫りになっています。
しかし、インドネシア語テキストのラベル付きデータの入手が限られていることが進歩を妨げています。
ヘイトスピーチは過小報告され、検出ツールによって理解されにくいため、シーア派、LGBTQ、その他の少数民族など、社会から疎外された少数派にとって状況はさらに悪化しています。
さらに、現在のデータセットには主観性が考慮されていないことが、この問題をさらに悪化させています。
これに対処するために、インドネシアのヘイトスピーチと毒性分類の包括的なデータセットである IndoToxic2024 を紹介します。
このデータセットは、19 人の多様な個人によって注釈が付けられた 43,692 のエントリで構成されており、特にインドネシアで最も熱い政治イベントである大統領選挙の期間中に、インドネシアの弱い立場にあるグループをターゲットにしたテキストに焦点を当てています。
7 つのバイナリ分類タスクのベースラインを確立し、ヘイトスピーチ分類用に微調整された BERT モデル (IndoBERTweet) でマクロ F1 スコア 0.78 を達成しました。
さらに、人口統計情報を組み込むことで、大規模言語モデル gpt-3.5-turbo のゼロショット パフォーマンスがどのように向上するかを示します。
ただし、人口統計情報を過度に重視すると、データの断片化により、微調整されたモデルのパフォーマンスに悪影響を及ぼす可能性があることにも注意してください。

要約(オリジナル)

Hate speech poses a significant threat to social harmony. Over the past two years, Indonesia has seen a ten-fold increase in the online hate speech ratio, underscoring the urgent need for effective detection mechanisms. However, progress is hindered by the limited availability of labeled data for Indonesian texts. The condition is even worse for marginalized minorities, such as Shia, LGBTQ, and other ethnic minorities because hate speech is underreported and less understood by detection tools. Furthermore, the lack of accommodation for subjectivity in current datasets compounds this issue. To address this, we introduce IndoToxic2024, a comprehensive Indonesian hate speech and toxicity classification dataset. Comprising 43,692 entries annotated by 19 diverse individuals, the dataset focuses on texts targeting vulnerable groups in Indonesia, specifically during the hottest political event in the country: the presidential election. We establish baselines for seven binary classification tasks, achieving a macro-F1 score of 0.78 with a BERT model (IndoBERTweet) fine-tuned for hate speech classification. Furthermore, we demonstrate how incorporating demographic information can enhance the zero-shot performance of the large language model, gpt-3.5-turbo. However, we also caution that an overemphasis on demographic information can negatively impact the fine-tuned model performance due to data fragmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google