Analysis of LLMs vs Human Experts in Requirements Engineering

要約

ソフトウェア開発への大規模な言語モデル（LLM）アプリケーションに関する研究の大部分は、コード生成のテーマに関するものです。
LLMSの要件エンジニアリング（RE）への影響に関する文献はほとんどありません。これは、システム要件の開発と検証のプロセスを扱っています。
RE内には、要件の誘発の下位概要があります。これは、ユーザー、顧客、その他の利害関係者からシステムの要件を発見および文書化する慣行です。
この分析では、タイムボックス化されたプロンプトボックスの研究における人間の専門家の要件と比較して、ソフトウェアシステムの要件を引き出すLLMの能力を比較します。
LLMで生成された要件は、より完全な傾向（+10.2％）であるヒト生成要件よりも、より整合した要件（+1.12）として評価されていることがわかりました。
逆に、ユーザーは、人間の専門家によってより整合していると認識されている解決策が生成されたと信じる傾向があることがわかりました。
さらに、LLMで生成されたドキュメントはより高いスコアを獲得し、720倍の速度で実行されましたが、そのコストは平均して、人間の専門家のコストのみでした。
全体として、これらの調査結果は、LLMが要件の定義を改善し、より効率的なリソース割り当てを可能にし、プロジェクト全体のタイムラインを削減することにより、要件エンジニアリングでますます重要な役割を果たすことを示しています。

要約(オリジナル)

The majority of research around Large Language Models (LLM) application to software development has been on the subject of code generation. There is little literature on LLMs’ impact on requirements engineering (RE), which deals with the process of developing and verifying the system requirements. Within RE, there is a subdiscipline of requirements elicitation, which is the practice of discovering and documenting requirements for a system from users, customers, and other stakeholders. In this analysis, we compare LLM’s ability to elicit requirements of a software system, as compared to that of a human expert in a time-boxed and prompt-boxed study. We found LLM-generated requirements were evaluated as more aligned (+1.12) than human-generated requirements with a trend of being more complete (+10.2%). Conversely, we found users tended to believe that solutions they perceived as more aligned had been generated by human experts. Furthermore, while LLM-generated documents scored higher and performed at 720x the speed, their cost was, on average, only 0.06% that of a human expert. Overall, these findings indicate that LLMs will play an increasingly important role in requirements engineering by improving requirements definitions, enabling more efficient resource allocation, and reducing overall project timelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google