LLMs and Finetuning: Benchmarking cross-domain performance for hate speech detection

要約

このペーパーでは、ヘイトスピーチ検出のために、事前にトレーニングされ、微調整されたさまざまな大規模言語モデル (LLM) を比較します。
私たちの調査は、LLM のクロスドメイン妥当性と過剰適合リスクにおける課題を浮き彫りにしています。
評価を通じて、ラベルの異質性を高めることでヘイトスピーチのニュアンスを把握する、微調整されたモデルの必要性を強調します。
最後に、クロスドメインの一般化可能性と適切なベンチマークの実践を強調しながら、ヘイトスピーチ検出の将来のビジョンを示します。

要約(オリジナル)

This paper compares different pre-trained and fine-tuned large language models (LLMs) for hate speech detection. Our research underscores challenges in LLMs’ cross-domain validity and overfitting risks. Through evaluations, we highlight the need for fine-tuned models that grasp the nuances of hate speech through greater label heterogeneity. We conclude with a vision for the future of hate speech detection, emphasizing cross-domain generalizability and appropriate benchmarking practices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google