Evaluating the Effectiveness of Natural Language Inference for Hate Speech Detection in Languages with Limited Labeled Data

要約

ヘイトスピーチ検出に関するほとんどの研究は、大量のラベル付きトレーニング データが利用可能な英語に焦点を当てています。
ただし、ヘイトスピーチの検出をより多くの言語に拡張するには、最小限のトレーニング データを必要とするアプローチが必要です。
この論文では、ターゲット言語で限られた量のラベル付きデータしか利用できないシナリオにおいて、ゼロショットおよび少数ショット設定で適切にパフォーマンスを発揮する自然言語推論 (NLI) モデルがヘイトスピーチ検出パフォーマンスに利益をもたらすかどうかをテストします。
5 つの言語での評価では、ターゲット言語での直接微調整よりも NLI 微調整のパフォーマンスが大幅に向上していることが実証されています。
ただし、英語データに対する中間的な微調整を提案した以前の研究の有効性に匹敵するのは困難です。
英語のトレーニング データがテスト ドメインと一致しない設定でのみ、カスタマイズされた NLI 定式化が英語の中間微調整よりも優れたパフォーマンスを発揮できます。
私たちの広範な実験に基づいて、最小限のラベル付きトレーニング データが利用可能な言語でのヘイト スピーチ検出に関する一連の推奨事項を提案します。

要約(オリジナル)

Most research on hate speech detection has focused on English where a sizeable amount of labeled training data is available. However, to expand hate speech detection into more languages, approaches that require minimal training data are needed. In this paper, we test whether natural language inference (NLI) models which perform well in zero- and few-shot settings can benefit hate speech detection performance in scenarios where only a limited amount of labeled data is available in the target language. Our evaluation on five languages demonstrates large performance improvements of NLI fine-tuning over direct fine-tuning in the target language. However, the effectiveness of previous work that proposed intermediate fine-tuning on English data is hard to match. Only in settings where the English training data does not match the test domain, can our customised NLI-formulation outperform intermediate fine-tuning on English. Based on our extensive experiments, we propose a set of recommendations for hate speech detection in languages where minimal labeled training data is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google