Leveraging Large Language Models for Mobile App Review Feature Extraction

要約

モバイルアプリのレビュー解析は、ユーザー生成ドキュメントの低品質、主観的なバイアス、ノイズの多いコンテンツのため、ユニークな課題を提示します。これらのレビューから特徴を抽出することは、特徴の優先順位付けやセンチメント分析などのタスクに不可欠ですが、依然として困難なタスクです。一方、Transformerアーキテクチャに基づくエンコーダのみのモデルは、複数のソフトウェアエンジニアリングプロセスの分類と情報抽出タスクにおいて有望な結果を示している。本研究では、エンコーダのみの大規模言語モデルがモバイルアプリレビューからの特徴抽出を強化できるという仮説を探求する。産業界からのクラウドソースアノテーションを活用することで、特徴抽出を教師ありトークン分類タスクとして再定義する。我々のアプローチには、コンテキストの理解を向上させるために、ユーザーレビューの大規模なコーパスを用いてこれらのモデルの事前学習を拡張し、モデルの微調整を最適化するためにインスタンス選択技術を採用することが含まれる。実証的な評価により、この手法が抽出された特徴量の精度と再現率を向上させ、パフォーマンス効率を高めることが実証された。主な貢献として、特徴抽出への新しいアプローチ、注釈付きデータセット、拡張された事前学習済みモデル、コスト効率の良い微調整のためのインスタンス選択メカニズムが挙げられる。この研究は、モバイルアプリレビュー内の自然言語処理タスクに大規模言語モデルを適用する際の実用的な手法と実証的な証拠を提供し、特徴抽出のパフォーマンスを向上させる。

要約(オリジナル)

Mobile app review analysis presents unique challenges due to the low quality, subjective bias, and noisy content of user-generated documents. Extracting features from these reviews is essential for tasks such as feature prioritization and sentiment analysis, but it remains a challenging task. Meanwhile, encoder-only models based on the Transformer architecture have shown promising results for classification and information extraction tasks for multiple software engineering processes. This study explores the hypothesis that encoder-only large language models can enhance feature extraction from mobile app reviews. By leveraging crowdsourced annotations from an industrial context, we redefine feature extraction as a supervised token classification task. Our approach includes extending the pre-training of these models with a large corpus of user reviews to improve contextual understanding and employing instance selection techniques to optimize model fine-tuning. Empirical evaluations demonstrate that this method improves the precision and recall of extracted features and enhances performance efficiency. Key contributions include a novel approach to feature extraction, annotated datasets, extended pre-trained models, and an instance selection mechanism for cost-effective fine-tuning. This research provides practical methods and empirical evidence in applying large language models to natural language processing tasks within mobile app reviews, offering improved performance in feature extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL