Do Large Language Models Possess Sensitive to Sentiment?

要約

大規模な言語モデル（LLM）は最近、言語理解に並外れた能力を表示しました。
ただし、LLMSの感情能力を包括的に評価する方法は、引き続き課題です。
このペーパーでは、LLMがテキストモーダルの感情を検出および反応する能力を調査します。
LLMの多様なアプリケーションへの統合が増加するため、ユーザーエクスペリエンスと感情主導のタスクの有効性に影響を与える可能性があるため、感情的なトーンに対する感受性を理解することが非常に重要になります。
一連の実験を実施して、陽性、否定的、中立的な感情などの感情を特定して応答する際に、いくつかの顕著なLLMのパフォーマンスを評価します。
モデルの出力は、さまざまな感情ベンチマークで分析され、それらの応答は人間の評価と比較されます。
私たちの発見によると、LLMは感情に対する基本的な感度を示していますが、正確性と一貫性に大きなばらつきがあり、微妙な感情的な手がかりをよりよく捉えるためにトレーニングプロセスのさらなる強化の要件を強調しています。
調査結果の例を挙げてみると、場合によっては、モデルは強く肯定的な感情を中立として誤って分類するか、テキストの皮肉や皮肉を認識できない場合があります。
このような誤分類は、感情分析の複雑さと、モデルを改良する必要がある領域を強調しています。
別の側面は、異なるLLMがアーキテクチャとトレーニングデータセットに応じて、同じデータセットで異なる機能を実行する可能性があることです。
この分散では、パフォーマンスの違いとそれらの最適化に寄与する要因のより詳細な研究が必要です。

要約(オリジナル)

Large Language Models (LLMs) have recently displayed their extraordinary capabilities in language understanding. However, how to comprehensively assess the sentiment capabilities of LLMs continues to be a challenge. This paper investigates the ability of LLMs to detect and react to sentiment in text modal. As the integration of LLMs into diverse applications is on the rise, it becomes highly critical to comprehend their sensitivity to emotional tone, as it can influence the user experience and the efficacy of sentiment-driven tasks. We conduct a series of experiments to evaluate the performance of several prominent LLMs in identifying and responding appropriately to sentiments like positive, negative, and neutral emotions. The models’ outputs are analyzed across various sentiment benchmarks, and their responses are compared with human evaluations. Our discoveries indicate that although LLMs show a basic sensitivity to sentiment, there are substantial variations in their accuracy and consistency, emphasizing the requirement for further enhancements in their training processes to better capture subtle emotional cues. Take an example in our findings, in some cases, the models might wrongly classify a strongly positive sentiment as neutral, or fail to recognize sarcasm or irony in the text. Such misclassifications highlight the complexity of sentiment analysis and the areas where the models need to be refined. Another aspect is that different LLMs might perform differently on the same set of data, depending on their architecture and training datasets. This variance calls for a more in-depth study of the factors that contribute to the performance differences and how they can be optimized.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google