Getting Inspiration for Feature Elicitation: App Store- vs. LLM-based Approach

要約

過去 10 年間にわたり、アプリ ストア (AppStore) からインスピレーションを得た要件の抽出が非常に有益であることが証明されてきました。
開発者は、新機能のインスピレーションを集めるために競合他社のアプリを調査することがよくあります。
生成 AI の進歩に伴い、最近の研究では、大規模言語モデル (LLM) にインスピレーションを得た要件の引き出しの可能性が実証されています。
LLM は、新しい機能のアイデアのインスピレーションを提供することで、このプロセスを支援できます。
どちらのアプローチも実際には人気が高まっていますが、その違いについては十分な洞察が不足しています。
機能をサブ機能に絞り込むための AppStore ベースのアプローチと LLM ベースのアプローチの比較研究について報告します。
両方のアプローチから推奨される 1,200 のサブ機能を手動で分析することで、それらの利点、課題、および主な違いを特定しました。
どちらのアプローチも、関連性の高いサブ機能を明確な説明とともに推奨しますが、LLM は、特に新しい未確認のアプリのスコープに関してはより強力であるように見えます。
さらに、推奨される機能の一部は実現可能性が不明瞭な架空のものであり、このことは、引き出しループにおける人間の分析者の重要性を示唆しています。

要約(オリジナル)

Over the past decade, app store (AppStore)-inspired requirements elicitation has proven to be highly beneficial. Developers often explore competitors’ apps to gather inspiration for new features. With the advance of Generative AI, recent studies have demonstrated the potential of large language model (LLM)-inspired requirements elicitation. LLMs can assist in this process by providing inspiration for new feature ideas. While both approaches are gaining popularity in practice, there is a lack of insight into their differences. We report on a comparative study between AppStore- and LLM-based approaches for refining features into sub-features. By manually analyzing 1,200 sub-features recommended from both approaches, we identified their benefits, challenges, and key differences. While both approaches recommend highly relevant sub-features with clear descriptions, LLMs seem more powerful particularly concerning novel unseen app scopes. Moreover, some recommended features are imaginary with unclear feasibility, which suggests the importance of a human-analyst in the elicitation loop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google