LLM-Cure: LLM-based Competitor User Review Analysis for Feature Enhancement

要約

モバイルアプリ市場の指数関数的な成長は、絶え間ない革新の重要性とユーザーの要求に対する迅速な対応を強調しています。
ユーザーの満足度はモバイルアプリケーション（APP）の成功に最重要であるため、開発者は通常、ユーザーレビューに依存しています。これは、改善のための領域を特定するための評価やコメントを含むユーザーのフィードバックを表します。
ただし、ユーザーレビューの膨大な量は、手動分析で課題をもたらし、自動化されたアプローチを必要とします。
既存の自動化されたアプローチは、ターゲットアプリのレビューのみを分析し、競合他社と同様の機能の比較を無視するか、機能強化の提案を提供できません。
これらのギャップに対処するために、LLMを搭載したアプローチでモバイルアプリ機能の改善のための提案を自動的に生成するアプローチである大規模な言語モデル（LLM）ベースの競合ユーザーレビュー分析）を提案します。
より具体的には、LLM-Cureは、LLMを適用することにより、レビュー内の機能を識別および分類します。
ユーザーレビューで苦情が提供されると、LLM-Cureは苦情に関連する競合するアプリで高評価（4星および5つ星）レビューをキュレートし、ターゲットアプリケーションに合わせた潜在的な改善を提案します。
70の人気Androidアプリの1,056,739のレビューでLLM-Cureを評価します。
私たちの評価は、LLM-CureがF1スコアで最大13％、リコールで最大16％、最大11％の精度でレビューに機能を割り当てる際の最先端のアプローチを大幅に上回ることを示しています。
さらに、LLM-Cureは、ユーザーの苦情を解決するための提案を提供する能力を示しています。
ターゲットモバイルアプリの機能の変更を反映するリリースノートを使用して、提案を検証します。
LLM-Cureは、提供された提案の実装の73％の有望な平均を達成しています。

要約(オリジナル)

The exponential growth of the mobile app market underscores the importance of constant innovation and rapid response to user demands. As user satisfaction is paramount to the success of a mobile application (app), developers typically rely on user reviews, which represent user feedback that includes ratings and comments to identify areas for improvement. However, the sheer volume of user reviews poses challenges in manual analysis, necessitating automated approaches. Existing automated approaches either analyze only the target apps reviews, neglecting the comparison of similar features to competitors or fail to provide suggestions for feature enhancement. To address these gaps, we propose a Large Language Model (LLM)-based Competitive User Review Analysis for Feature Enhancement) (LLM-Cure), an approach powered by LLMs to automatically generate suggestion s for mobile app feature improvements. More specifically, LLM-Cure identifies and categorizes features within reviews by applying LLMs. When provided with a complaint in a user review, LLM-Cure curates highly rated (4 and 5 stars) reviews in competing apps related to the complaint and proposes potential improvements tailored to the target application. We evaluate LLM-Cure on 1,056,739 reviews of 70 popular Android apps. Our evaluation demonstrates that LLM-Cure significantly outperforms the state-of-the-art approaches in assigning features to reviews by up to 13% in F1-score, up to 16% in recall and up to 11% in precision. Additionally, LLM-Cure demonstrates its capability to provide suggestions for resolving user complaints. We verify the suggestions using the release notes that reflect the changes of features in the target mobile app. LLM-Cure achieves a promising average of 73% of the implementation of the provided suggestions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google