Zero-shot Bilingual App Reviews Mining with Large Language Models

要約

アプリ ストアからのアプリのレビューは、ソフトウェア要件を改善するために非常に重要です。
ソフトウェアの問題や期待される機能について説明した、多数の貴重なレビューが継続的に投稿されています。
ユーザーレビューを効果的に活用するには、関連情報の抽出とその後の要約が必要です。
ユーザー レビューは大量にあるため、手動で分析するのは困難です。
自動ユーザーレビューマイニングのために、自然言語処理 (NLP) に基づくさまざまなアプローチが提案されています。
ただし、そのほとんどはモデルをトレーニングするために手動で作成したデータセットを必要とするため、現実のシナリオでの使用が制限されます。
この研究では、英語とフランス語の両方でユーザー レビューのゼロショット マイニングを実行するために大規模言語モデル (LLM) を統合するツールである Mini-BAR を提案します。
具体的には、Mini-BAR は、(i) ユーザー レビューを分類し、(ii) 同様のレビューをクラスター化し、(iii) 各クラスターの抽象的な概要を生成し、(iv) ユーザー レビュー クラスターをランク付けするように設計されています。
Mini-BAR のパフォーマンスを評価するために、6,000 件の英語と 6,000 件のフランス語の注釈付きユーザー レビューを含むデータセットを作成し、広範な実験を実施しました。
予備的な結果は、バイリンガルのアプリレビューを分析することにより、要件エンジニアリングにおける Mini-BAR の有効性と効率性を実証しました。
(https://github.com/Jl-wei/mini-bar にあるコード、データセット、実験セットアップを含むレプリケーション パッケージ)

要約(オリジナル)

App reviews from app stores are crucial for improving software requirements. A large number of valuable reviews are continually being posted, describing software problems and expected features. Effectively utilizing user reviews necessitates the extraction of relevant information, as well as their subsequent summarization. Due to the substantial volume of user reviews, manual analysis is arduous. Various approaches based on natural language processing (NLP) have been proposed for automatic user review mining. However, the majority of them requires a manually crafted dataset to train their models, which limits their usage in real-world scenarios. In this work, we propose Mini-BAR, a tool that integrates large language models (LLMs) to perform zero-shot mining of user reviews in both English and French. Specifically, Mini-BAR is designed to (i) classify the user reviews, (ii) cluster similar reviews together, (iii) generate an abstractive summary for each cluster and (iv) rank the user review clusters. To evaluate the performance of Mini-BAR, we created a dataset containing 6,000 English and 6,000 French annotated user reviews and conducted extensive experiments. Preliminary results demonstrate the effectiveness and efficiency of Mini-BAR in requirement engineering by analyzing bilingual app reviews. (Replication package containing the code, dataset, and experiment setups on https://github.com/Jl-wei/mini-bar )

arxiv情報

提供元, 利用サービス

arxiv.jp, Google