Offensive Hebrew Corpus and Detection using BERT

要約

不快な言語の検出は多くの言語でよく研究されていますが、ヘブライ語などの低リソース言語では遅れています。
この論文では、ヘブライ語の新しい攻撃的言語コーパスを紹介します。
Twitter から合計 15,881 のツイートが取得されました。
アラビア語とヘブライ語のバイリンガル話者によって、それぞれに 5 つのクラス (虐待、憎悪、暴力、ポルノ、または攻撃的ではない) のうち 1 つ以上のラベルが付けられました。
各アノテーターは各ツイートのコンテキストを理解するためにイスラエルの文化、政治、習慣に精通していることが求められるため、アノテーションのプロセスは困難でした。
私たちは、提案したデータセットと別の公開されたデータセットを使用して、2 つのヘブライ語 BERT モデル、HeBERT と AlephBERT を微調整しました。
私たちのデータは、D_OLaH と組み合わせると HeBERT のパフォーマンスが 2% 向上することがわかりました。
データで AlephBERT を微調整し、D_OLaH でテストすると 69% の精度が得られ、D_OLaH で微調整してデータでテストすると 57% の精度が得られます。これは、データが提供する一般化可能性を示している可能性があります。
私たちのデータセットと微調整されたモデルは、GitHub と Huggingface で入手できます。

要約(オリジナル)

Offensive language detection has been well studied in many languages, but it is lagging behind in low-resource languages, such as Hebrew. In this paper, we present a new offensive language corpus in Hebrew. A total of 15,881 tweets were retrieved from Twitter. Each was labeled with one or more of five classes (abusive, hate, violence, pornographic, or none offensive) by Arabic-Hebrew bilingual speakers. The annotation process was challenging as each annotator is expected to be familiar with the Israeli culture, politics, and practices to understand the context of each tweet. We fine-tuned two Hebrew BERT models, HeBERT and AlephBERT, using our proposed dataset and another published dataset. We observed that our data boosts HeBERT performance by 2% when combined with D_OLaH. Fine-tuning AlephBERT on our data and testing on D_OLaH yields 69% accuracy, while fine-tuning on D_OLaH and testing on our data yields 57% accuracy, which may be an indication to the generalizability our data offers. Our dataset and fine-tuned models are available on GitHub and Huggingface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google