On the Identification of the Energy related Issues from the App Reviews

要約

タイトル：アプリレビューからのエネルギー関連課題の特定について

要約：
– アプリのエネルギー効率の低さは、多くのユーザーにとって重要な問題であり、App Storeで広く議論されています。
– 以前の研究によると、エネルギー関連アプリレビューを調査することは、主要なエネルギー関連ユーザーフィードバックの原因やカテゴリーを特定する上で重要であることが示されています。
– しかし、自動的にエネルギー関連アプリレビューを抽出する効率的な研究はありませんでした。
– この論文では、様々な機械学習モデルとニューラルネットワークモデルにおける特徴の組み合わせによる自動エネルギー関連ユーザーフィードバックの抽出技術を経験的に比較しています。合計で、60の機械学習モデルと、6つのニューラルネットワークアーキテクチャと3つの単語埋め込みモデルを使用して構築した30のモデルを比較しています。
– 結果は、ニューラルネットワークが他の機械学習技術を上回り、最高のF1スコア0.935を達成できることを示しています。
– この研究結果を再現するために、対話型可視化ツールをオープンソース化しました。
– エネルギー効率の低さの原因となる可能性がある新しい問題を開発者が自動的に調査するための様々な手法を比較し、OBTMとAOLDAと呼ばれる最新のトピックモデリングアルゴリズムの適用結果と、以前に使用されていた文字列マッチングの結果を比較しています。
– 最後に、過去に分類されたレビューから必要なトピックを特定するための開発者や学生との質的研究を実施し、OBTMが最も役立つ結果を生み出すことが示されました。

要約(オリジナル)

The energy inefficiency of the apps can be a major issue for the app users which is discussed on App Stores extensively. Previous research has shown the importance of investigating the energy related app reviews to identify the major causes or categories of energy related user feedback. However, there is no study that efficiently extracts the energy related app reviews automatically. In this paper, we empirically study different techniques for automatic extraction of the energy related user feedback. We compare the accuracy, F1-score and run time of numerous machine-learning models with relevant feature combinations and relatively modern Neural Network-based models. In total, 60 machine learning models are compared to 30 models that we build using six neural network architectures and three word embedding models. We develop a visualization tool for this study through which a developer can traverse through this large-scale result set. The results show that neural networks outperform the other machine learning techniques and can achieve the highest F1-score of 0.935. To replicate the research results, we have open sourced the interactive visualization tool. After identifying the best results and extracting the energy related reviews, we further compare various techniques to help the developers automatically investigate the emerging issues that might be responsible for energy inefficiency of the apps. We experiment the previously used string matching with results obtained from applying two of the state-of-the-art topic modeling algorithms, OBTM and AOLDA. Finally, we run a qualitative study performed in collaboration with developers and students from different institutions to determine their preferences for identifying necessary topics from previously categorized reviews, which shows OBTM produces the most helpful results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI