A Hybrid Transformer and Attention Based Recurrent Neural Network for Robust and Interpretable Sentiment Analysis of Tweets

要約

感情分析は世論と消費者の行動を理解するために重要です。
既存のモデルは、言語の多様性、一般化可能性、説明可能性という課題に直面しています。
私たちは、これに対処するために、トランスベースのアーキテクチャ、アテンション メカニズム、および BiLSTM ネットワークを統合するハイブリッド フレームワークである TRABSA を提案します。
1 億 2,400 万のツイートで RoBERTa によってトレーニングされたものを活用して、感情分析ベンチマークのギャップを埋め、最先端の精度を保証します。
32 の国と米国の州からのツイートでデータセットを強化し、6 つの単語埋め込み手法と 3 つの語彙ベースのラベル付け手法を比較し、最適なセンチメント分析に最適なものを選択します。
TRABSA は、94% の精度と大幅な精度、再現率、F1 スコアの向上により、従来の ML および深層学習モデルを上回ります。
多様なデータセットにわたる評価により、一貫した優位性と一般化可能性が実証されます。
SHAP および LIME 分析により解釈可能性が向上し、予測の信頼性が向上します。
私たちの研究はパンデミックのリソース管理を促進し、リソース計画、政策形成、ワクチン接種戦術を支援します。

要約(オリジナル)

Sentiment analysis is crucial for understanding public opinion and consumer behavior. Existing models face challenges with linguistic diversity, generalizability, and explainability. We propose TRABSA, a hybrid framework integrating transformer-based architectures, attention mechanisms, and BiLSTM networks to address this. Leveraging RoBERTa-trained on 124M tweets, we bridge gaps in sentiment analysis benchmarks, ensuring state-of-the-art accuracy. Augmenting datasets with tweets from 32 countries and US states, we compare six word-embedding techniques and three lexicon-based labeling techniques, selecting the best for optimal sentiment analysis. TRABSA outperforms traditional ML and deep learning models with 94% accuracy and significant precision, recall, and F1-score gains. Evaluation across diverse datasets demonstrates consistent superiority and generalizability. SHAP and LIME analyses enhance interpretability, improving confidence in predictions. Our study facilitates pandemic resource management, aiding resource planning, policy formation, and vaccination tactics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google