Offensive Language and Hate Speech Detection for Danish

要約

ソーシャル メディア プラットフォームでの攻撃的な言葉の存在と、それがもたらす影響は、現代社会において大きな懸念事項になっています。
毎日作成される膨大な量のコンテンツを考えると、この種のコンテンツを検出して処理するには、自動化された方法が必要です。
これまで、ほとんどの研究は英語の問題を解決することに焦点を当ててきましたが、問題は多言語の問題でした。
\textit{Reddit} と \textit{Facebook} からのユーザー生成コメントを含むデンマークのデータセットを構築します。
さまざまなソーシャル メディア プラットフォームからユーザーが生成したコメントが含まれており、私たちの知る限り、この種のものは初めてです。
私たちのデータセットは、さまざまなタイプと攻撃的な言語のターゲットをキャプチャするために注釈が付けられています。
私たちは 4 つの自動分類システムを開発しており、それぞれが英語とデンマーク語の両方で機能するように設計されています。
英語での不快な言葉の検出では、最高のパフォーマンスを発揮するシステムはマクロ平均で $0.74$ の F1 スコアを達成し、デンマーク語で最高のパフォーマンスを発揮するシステムはマクロ平均で $0.70$ の F1 スコアを達成します。
不快な投稿が標的にされているかどうかの検出において、英語で最もパフォーマンスの高いシステムはマクロ平均 F1 スコア $0.62$ を達成し、デンマーク語でパフォーマンスが最高のシステムはマクロ平均 F1 スコア $0.73$ を達成しました。
最後に、標的を絞った攻撃的な投稿での標的タイプの検出では、英語で最高のパフォーマンスを発揮するシステムはマクロ平均 F1 スコア $0.56$ を達成し、デンマーク語で最高パフォーマンスのシステムはマクロ平均 F1 スコア $0.63$ を達成します。
英語とデンマーク語の両方に対する私たちの研究は、攻撃的な言葉のタイプとターゲットを捉え、ヘイトスピーチやネットいじめなどのさまざまな種類の攻撃的な言葉を検出するための自動方法を提示します。

要約(オリジナル)

The presence of offensive language on social media platforms and the implications this poses is becoming a major concern in modern society. Given the enormous amount of content created every day, automatic methods are required to detect and deal with this type of content. Until now, most of the research has focused on solving the problem for the English language, while the problem is multilingual. We construct a Danish dataset containing user-generated comments from \textit{Reddit} and \textit{Facebook}. It contains user generated comments from various social media platforms, and to our knowledge, it is the first of its kind. Our dataset is annotated to capture various types and target of offensive language. We develop four automatic classification systems, each designed to work for both the English and the Danish language. In the detection of offensive language in English, the best performing system achieves a macro averaged F1-score of $0.74$, and the best performing system for Danish achieves a macro averaged F1-score of $0.70$. In the detection of whether or not an offensive post is targeted, the best performing system for English achieves a macro averaged F1-score of $0.62$, while the best performing system for Danish achieves a macro averaged F1-score of $0.73$. Finally, in the detection of the target type in a targeted offensive post, the best performing system for English achieves a macro averaged F1-score of $0.56$, and the best performing system for Danish achieves a macro averaged F1-score of $0.63$. Our work for both the English and the Danish language captures the type and targets of offensive language, and present automatic methods for detecting different kinds of offensive language such as hate speech and cyberbullying.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google