Large Language Models for Toxic Language Detection in Low-Resource Balkan Languages

要約

特に限られた節度ツールを持つ地域では、オンラインの有毒言語は真の害を引き起こします。
この研究では、セルビア語、クロアチア語、ボスニア語で、ラベル付きデータが限られている言語で、大規模な言語モデルが有毒なコメントをどのように処理するかを評価します。
音楽、政治、スポーツ、モデリング、インフルエンサーコンテンツ、性差別の議論、一般的なトピックなど、多様なカテゴリのビデオから引き出された4,500のYouTubeとTiktokのコメントのデータセットを作成し、手動でラベル付けしました。
4つのモデル（GPT-3.5 Turbo、GPT-4.1、GEMINI 1.5 Pro、およびClaude 3 Opus）を2つのモードでテストしました：ゼロショットとコンテキストの高度化。
精度、リコール、F1スコア、精度、偽陽性率を測定しました。
短いコンテキストスニペットを含むリコールを平均で約0.12に引き上げ、F1スコアを最大0.10に改善しましたが、誤検知が増加することもあります。
最高のバランスは、コンテキストの高度モードでジェミニから来て、F1スコア0.82と0.82の精度に達しましたが、ゼロショットGPT-4.1は精度でLEDされ、最低の誤報がありました。
最小限のコンテキストを追加することで、リソースの低い設定での有毒言語の検出を改善し、迅速な設計やしきい値のキャリブレーションの改善などの実用的な戦略を示唆する方法を示します。
これらの結果は、迅速な設計だけで、サービスを受けていないバルカン語のコミュニティの毒性検出に有意義な利益をもたらす可能性があることを示しています。

要約(オリジナル)

Online toxic language causes real harm, especially in regions with limited moderation tools. In this study, we evaluate how large language models handle toxic comments in Serbian, Croatian, and Bosnian, languages with limited labeled data. We built and manually labeled a dataset of 4,500 YouTube and TikTok comments drawn from videos across diverse categories, including music, politics, sports, modeling, influencer content, discussions of sexism, and general topics. Four models (GPT-3.5 Turbo, GPT-4.1, Gemini 1.5 Pro, and Claude 3 Opus) were tested in two modes: zero-shot and context-augmented. We measured precision, recall, F1 score, accuracy and false positive rates. Including a short context snippet raised recall by about 0.12 on average and improved F1 score by up to 0.10, though it sometimes increased false positives. The best balance came from Gemini in context-augmented mode, reaching an F1 score of 0.82 and accuracy of 0.82, while zero-shot GPT-4.1 led on precision and had the lowest false alarms. We show how adding minimal context can improve toxic language detection in low-resource settings and suggest practical strategies such as improved prompt design and threshold calibration. These results show that prompt design alone can yield meaningful gains in toxicity detection for underserved Balkan language communities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google