A Fine-grained Sentiment Analysis of App Reviews using Large Language Models: An Evaluation Study

要約

アプリの機能に対するユーザーのレビューを分析すると、アプリの機能に対するユーザーの認識と進化するニーズについての貴重な洞察が得られます。
毎日受け取るユーザー レビューの量を考慮すると、ユーザー レビューの機能レベルの感情概要を生成する自動メカニズムが必要です。
ChatGPT などの大規模言語モデル (LLM) の最近の進歩により、モデルのパラメーターを更新することなく、つまりゼロまたは少数のラベル付きサンプルを使用することなく、いくつかの新しいタスクで優れたパフォーマンスが示されました。
これらの進歩にもかかわらず、ユーザー レビューの機能固有のセンチメント分析を実行する LLM の機能はまだ解明されていません。
この研究では、アプリの機能と関連する感情を抽出するための GPT-4、ChatGPT、LLama-2-chat バリアントを含む最先端の LLM のパフォーマンスを、0 ショット、1 ショット、および 5 ショットで比較しています。
シナリオ。
結果は、最高のパフォーマンスを示す GPT-4 モデルが、ゼロショット特徴抽出を使用した f1 スコアでルールベースのアプローチより 23.6% 優れていることを示しています。
5 ショットではさらに 6% 向上しました。
GPT-4 は、正しく予測されたアプリの機能に対する肯定的な感情を予測するために 74% の f1 スコアを達成し、5 ショットによりそれが 7% 向上しました。
私たちの研究は、LLM モデルがユーザー レビューの機能固有の感情概要を生成するのに有望であることを示唆しています。

要約(オリジナル)

Analyzing user reviews for sentiment towards app features can provide valuable insights into users’ perceptions of app functionality and their evolving needs. Given the volume of user reviews received daily, an automated mechanism to generate feature-level sentiment summaries of user reviews is needed. Recent advances in Large Language Models (LLMs) such as ChatGPT have shown impressive performance on several new tasks without updating the model’s parameters i.e. using zero or a few labeled examples. Despite these advancements, LLMs’ capabilities to perform feature-specific sentiment analysis of user reviews remain unexplored. This study compares the performance of state-of-the-art LLMs, including GPT-4, ChatGPT, and LLama-2-chat variants, for extracting app features and associated sentiments under 0-shot, 1-shot, and 5-shot scenarios. Results indicate the best-performing GPT-4 model outperforms rule-based approaches by 23.6% in f1-score with zero-shot feature extraction; 5-shot further improving it by 6%. GPT-4 achieves a 74% f1-score for predicting positive sentiment towards correctly predicted app features, with 5-shot enhancing it by 7%. Our study suggests that LLM models are promising for generating feature-specific sentiment summaries of user reviews.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google