A Context-Sensitive Word Embedding Approach for The Detection of Troll Tweets

要約

この研究では、荒らしツイートを自動検出するための一連のモデル アーキテクチャを開発および評価することで、ソーシャル メディア上での荒らし行為に対する増大する懸念に対処することを目的としました。
深層学習技術と、BERT、ELMo、GloVe などの事前トレーニング済みの単語埋め込み手法を利用し、分類精度、F1 スコア、AUC、精度などの指標を使用して各アーキテクチャのパフォーマンスを評価しました。
私たちの結果は、BERT および ELMo 埋め込み手法が GloVe 手法よりも優れたパフォーマンスを発揮したことを示しています。これはおそらく、オンライン ソーシャル メディアでの言語使用のニュアンスや微妙な点をより適切に捉える文脈化された単語埋め込みを提供する能力によるものと考えられます。
さらに、CNN エンコーダーと GRU エンコーダーは、F1 スコアと AUC の点で同様のパフォーマンスを示し、入力テキストから関連情報を抽出する際の有効性を示唆していることがわかりました。
最もパフォーマンスの高い方法は、GRU 分類器を使用した ELMo ベースのアーキテクチャであることが判明し、AUC スコアは 0.929 でした。
この研究は、荒らしツイート検出のタスクにおいて、文脈化された単語の埋め込みと適切なエンコーダ手法を利用することの重要性を強調しています。これは、ソーシャルベースのシステムがプラットフォーム上で荒らし行為を特定して対処する際のパフォーマンスを向上させるのに役立ちます。

要約(オリジナル)

In this study, we aimed to address the growing concern of trolling behavior on social media by developing and evaluating a set of model architectures for the automatic detection of troll tweets. Utilizing deep learning techniques and pre-trained word embedding methods such as BERT, ELMo, and GloVe, we evaluated the performance of each architecture using metrics such as classification accuracy, F1 score, AUC, and precision. Our results indicate that BERT and ELMo embedding methods performed better than the GloVe method, likely due to their ability to provide contextualized word embeddings that better capture the nuances and subtleties of language use in online social media. Additionally, we found that CNN and GRU encoders performed similarly in terms of F1 score and AUC, suggesting their effectiveness in extracting relevant information from input text. The best-performing method was found to be an ELMo-based architecture that employed a GRU classifier, with an AUC score of 0.929. This research highlights the importance of utilizing contextualized word embeddings and appropriate encoder methods in the task of troll tweet detection, which can assist social-based systems in improving their performance in identifying and addressing trolling behavior on their platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google