Can Prompting LLMs Unlock Hate Speech Detection across Languages? A Zero-shot and Few-shot Study

要約

自動化されたヘイトスピーチ検出への関心が高まっているにもかかわらず、既存のアプローチのほとんどは、オンラインコンテンツの言語の多様性を見落としています。
Llama、Aya、Qwen、Bloomzなどの多言語チューニングされた大規模な言語モデルは、言語間で有望な機能を提供しますが、ゼロショットと少数のショットプロンプトを通じてヘイトスピーチを特定する上での有効性は露出度が低いままです。
この作業は、いくつかのプロンプトテクニックを利用して微調整されたエンコーダーモデルと比較して、8つの非英語言語でLLMプロンプトベースの検出を評価します。
ほとんどの現実世界の評価セットで微調整されたエンコーダーモデルの背後に遅れをとるゼロショットと数ショットのプロンプトが、ヘイトスピーチ検出のための機能テストのより良い一般化を達成することを示します。
また、私たちの研究は、迅速な設計が重要な役割を果たすことを明らかにしており、各言語はパフォーマンスを最大化するためにカスタマイズされたプロンプト技術を必要とすることがよくあります。

要約(オリジナル)

Despite growing interest in automated hate speech detection, most existing approaches overlook the linguistic diversity of online content. Multilingual instruction-tuned large language models such as LLaMA, Aya, Qwen, and BloomZ offer promising capabilities across languages, but their effectiveness in identifying hate speech through zero-shot and few-shot prompting remains underexplored. This work evaluates LLM prompting-based detection across eight non-English languages, utilizing several prompting techniques and comparing them to fine-tuned encoder models. We show that while zero-shot and few-shot prompting lag behind fine-tuned encoder models on most of the real-world evaluation sets, they achieve better generalization on functional tests for hate speech detection. Our study also reveals that prompt design plays a critical role, with each language often requiring customized prompting techniques to maximize performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google