Explainable and High-Performance Hate and Offensive Speech Detection

要約

ソーシャルメディアプラットフォームを介した情報の拡散は、脆弱なコミュニティにとって敵対的な環境を生み出し、社会の特定のグループを沈黙させる可能性があります。
このような事例を軽減するために、ヘイトスピーチや攻撃的なスピーチを検出するためのいくつかのモデルが開発されました。
ソーシャルメディアプラットフォームでヘイトスピーチや攻撃的なスピーチを検出すると、ソーシャルメディアプラットフォームから個人が誤って排除され、信頼が低下する可能性があるため、説明可能で解釈可能なモデルを作成する必要があります。
したがって、Twitter データでトレーニングされた XGBoost アルゴリズムに基づいて、説明可能で解釈可能な高性能モデルを構築します。
不均衡な Twitter データの場合、XGboost はヘイトスピーチ検出において LSTM、AutoGluon、ULMFiT モデルよりも優れており、F1 スコアはそれぞれ 0.38、0.37、0.38 と比較して 0.75 でした。
データを約 5000 ツイートの 3 つの異なるクラスにダウンサンプリングしたところ、XGBoost は LSTM、AutoGluon、ULMFiT よりも優れたパフォーマンスを示しました。
ヘイトスピーチ検出の F1 スコアはそれぞれ 0.79 対 0.69、0.77、0.66 でした。
また、XGBoost はダウンサンプリング バージョンで不快な音声検出において LSTM、AutoGluon、ULMFiT よりも優れたパフォーマンスを示し、F1 スコアはそれぞれ 0.83 対 0.88、0.82、0.79 でした。
XGBoost モデルの出力には Shapley Additive Explains (SHAP) を使用して、ブラックボックス モデルである LSTM、AutoGluon、ULMFiT と比較して説明可能かつ解釈可能にしています。

要約(オリジナル)

The spread of information through social media platforms can create environments possibly hostile to vulnerable communities and silence certain groups in society. To mitigate such instances, several models have been developed to detect hate and offensive speech. Since detecting hate and offensive speech in social media platforms could incorrectly exclude individuals from social media platforms, which can reduce trust, there is a need to create explainable and interpretable models. Thus, we build an explainable and interpretable high performance model based on the XGBoost algorithm, trained on Twitter data. For unbalanced Twitter data, XGboost outperformed the LSTM, AutoGluon, and ULMFiT models on hate speech detection with an F1 score of 0.75 compared to 0.38 and 0.37, and 0.38 respectively. When we down-sampled the data to three separate classes of approximately 5000 tweets, XGBoost performed better than LSTM, AutoGluon, and ULMFiT; with F1 scores for hate speech detection of 0.79 vs 0.69, 0.77, and 0.66 respectively. XGBoost also performed better than LSTM, AutoGluon, and ULMFiT in the down-sampled version for offensive speech detection with F1 score of 0.83 vs 0.88, 0.82, and 0.79 respectively. We use Shapley Additive Explanations (SHAP) on our XGBoost models’ outputs to makes it explainable and interpretable compared to LSTM, AutoGluon and ULMFiT that are black-box models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google