Leveraging Encoder-only Large Language Models for Mobile App Review Feature Extraction

要約

モバイルアプリのレビュー分析は、ユーザー生成ドキュメントの品質、主観的なバイアス、およびノイズの多いコンテンツのために、独自の課題を提示します。
これらのレビューから機能を抽出することは、機能の優先順位付けやセンチメント分析などのタスクに不可欠ですが、依然として困難な作業です。
一方、トランスアーキテクチャに基づくエンコーダのみのモデルは、複数のソフトウェアエンジニアリングプロセスの分類および情報抽出タスクの有望な結果を示しています。
この研究では、エンコーダのみの大手言語モデルがモバイルアプリのレビューからの機能抽出を強化できるという仮説を調査します。
産業用コンテキストからクラウドソーシングの注釈を活用することにより、監視付きトークン分類タスクとして機能抽出を再定義します。
私たちのアプローチには、これらのモデルの事前トレーニングをユーザーレビューの大規模なコーパスで拡張して、コンテキストの理解を向上させ、インスタンス選択技術を採用してモデルの微調整を最適化することが含まれます。
経験的評価は、この方法が抽出された特徴の精度とリコールを改善し、パフォーマンス効率を高めることを示しています。
主な貢献には、特徴抽出、注釈付きデータセット、拡張事前訓練モデル、および費用対効果の高い微調整のためのインスタンス選択メカニズムへの新しいアプローチが含まれます。
この研究は、モバイルアプリのレビュー内で大規模な言語モデルを自然言語処理タスクに適用する際の実用的な方法と経験的証拠を提供し、機能抽出のパフォーマンスを向上させます。

要約(オリジナル)

Mobile app review analysis presents unique challenges due to the low quality, subjective bias, and noisy content of user-generated documents. Extracting features from these reviews is essential for tasks such as feature prioritization and sentiment analysis, but it remains a challenging task. Meanwhile, encoder-only models based on the Transformer architecture have shown promising results for classification and information extraction tasks for multiple software engineering processes. This study explores the hypothesis that encoder-only large language models can enhance feature extraction from mobile app reviews. By leveraging crowdsourced annotations from an industrial context, we redefine feature extraction as a supervised token classification task. Our approach includes extending the pre-training of these models with a large corpus of user reviews to improve contextual understanding and employing instance selection techniques to optimize model fine-tuning. Empirical evaluations demonstrate that this method improves the precision and recall of extracted features and enhances performance efficiency. Key contributions include a novel approach to feature extraction, annotated datasets, extended pre-trained models, and an instance selection mechanism for cost-effective fine-tuning. This research provides practical methods and empirical evidence in applying large language models to natural language processing tasks within mobile app reviews, offering improved performance in feature extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google