Performance evaluation of Reddit Comments using Machine Learning and Natural Language Processing methods in Sentiment Analysis

要約

感情分析は、学術界と産業界の両方でますます重要な分野となっており、機械学習アプリケーション、特に Reddit などのソーシャル メディア プラットフォームにおいて極めて重要な役割を果たしています。
ただし、感情分析モデルの有効性は、広範囲かつきめの細かい感情データセットの欠如によって妨げられています。
このギャップに対処するために、私たちの研究では、さまざまな感情を含む GoEmotions データセットを活用して、58,000 件のコメントの実質的なコーパス全体にわたる感情分析手法を評価しました。
分析を 2 つのモデルのみに限定した Google チームによる以前の研究とは異なり、私たちの研究は多様なモデルを評価することで範囲を拡大しています。
私たちは、ナイーブ ベイズやサポート ベクター マシン (SVM) などの従来の分類器だけでなく、BERT、RoBERTa、GPT などの最先端のトランスフォーマー ベースのモデルのパフォーマンスを調査します。
さらに、当社の評価基準は正確さを超えて、感情分類のさまざまな粒度レベルに基づく階層分類を含む、微妙な評価を包含します。
さらに、計算効率などの考慮事項が組み込まれ、包括的な評価フレームワークが提供されます。
私たちの調査結果では、RoBERTa モデルがベースライン モデルよりも常に優れたパフォーマンスを示し、きめの細かい感情分類タスクにおいて優れた精度を示していることが明らかになりました。
これは、センチメント分析機能の進歩における RoBERTa モデルの大きな可能性と重要性を強調しています。

要約(オリジナル)

Sentiment analysis, an increasingly vital field in both academia and industry, plays a pivotal role in machine learning applications, particularly on social media platforms like Reddit. However, the efficacy of sentiment analysis models is hindered by the lack of expansive and fine-grained emotion datasets. To address this gap, our study leverages the GoEmotions dataset, comprising a diverse range of emotions, to evaluate sentiment analysis methods across a substantial corpus of 58,000 comments. Distinguished from prior studies by the Google team, which limited their analysis to only two models, our research expands the scope by evaluating a diverse array of models. We investigate the performance of traditional classifiers such as Naive Bayes and Support Vector Machines (SVM), as well as state-of-the-art transformer-based models including BERT, RoBERTa, and GPT. Furthermore, our evaluation criteria extend beyond accuracy to encompass nuanced assessments, including hierarchical classification based on varying levels of granularity in emotion categorization. Additionally, considerations such as computational efficiency are incorporated to provide a comprehensive evaluation framework. Our findings reveal that the RoBERTa model consistently outperforms the baseline models, demonstrating superior accuracy in fine-grained sentiment classification tasks. This underscores the substantial potential and significance of the RoBERTa model in advancing sentiment analysis capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google