Hate Speech and Offensive Language Detection using an Emotion-aware Shared Encoder

要約

ソーシャル メディア プラットフォームの台頭により、人々のコミュニケーション方法が根本的に変化しました。これらの発展の結果として、オンラインでの虐待的なコンテンツの使用が増加しています。
したがって、このコンテンツを自動的に検出することは、不適切な情報を禁止し、ソーシャル メディア プラットフォームでの有害性と暴力を減らすために不可欠です。
ヘイト スピーチと不快な言葉の検出に関する既存の研究では、事前にトレーニングされた変換モデルに基づいて有望な結果が得られますが、注釈付きのデータセットを通じて生成された虐待的なコンテンツの特徴の分析のみが考慮されていました。
この論文では、ラベル付けされたデータセットの不均衡と不足に対処するために、別のコーパスから抽出された外部の感情的特徴を組み合わせるマルチタスク共同学習アプローチについて説明します。
私たちの分析では、2 つのよく知られた Transformer ベースのモデル、BERT と mBERT を使用しています。後者は、多言語シナリオでの不正なコンテンツの検出に対処するために使用されます。
私たちのモデルは、トランスフォーマーの共有エンコーダーを介して表現を共有することにより、感情的な特徴を備えた虐待的なコンテンツの検出を共同で学習します。
このアプローチにより、データの効率が向上し、表現を共有することでオーバーフィッティングが減少し、補助情報を活用して高速学習が保証されます。
私たちの調査結果は、感情的な知識が、データセット全体でヘイトスピーチや攻撃的な言葉をより確実に特定するのに役立つことを示しています。
ヘイト スピーチ検出マルチタスク モデルは、ベースライン モデルよりも 3% のパフォーマンス向上を示しましたが、マルチタスク モデルのパフォーマンスは、攻撃的な言語検出タスクでは有意ではありませんでした。
さらに興味深いことに、両方のタスクで、マルチタスク モデルは、単一タスクのシナリオと比較して誤検知エラーが少なくなります。

要約(オリジナル)

The rise of emergence of social media platforms has fundamentally altered how people communicate, and among the results of these developments is an increase in online use of abusive content. Therefore, automatically detecting this content is essential for banning inappropriate information, and reducing toxicity and violence on social media platforms. The existing works on hate speech and offensive language detection produce promising results based on pre-trained transformer models, however, they considered only the analysis of abusive content features generated through annotated datasets. This paper addresses a multi-task joint learning approach which combines external emotional features extracted from another corpora in dealing with the imbalanced and scarcity of labeled datasets. Our analysis are using two well-known Transformer-based models, BERT and mBERT, where the later is used to address abusive content detection in multi-lingual scenarios. Our model jointly learns abusive content detection with emotional features by sharing representations through transformers’ shared encoder. This approach increases data efficiency, reduce overfitting via shared representations, and ensure fast learning by leveraging auxiliary information. Our findings demonstrate that emotional knowledge helps to more reliably identify hate speech and offensive language across datasets. Our hate speech detection Multi-task model exhibited 3% performance improvement over baseline models, but the performance of multi-task models were not significant for offensive language detection task. More interestingly, in both tasks, multi-task models exhibits less false positive errors compared to single task scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google