Analysis of LLMs vs Human Experts in Requirements Engineering

要約

ラージ・ランゲージ・モデル（LLM）のソフトウェア開発への応用に関する研究の大半は、コード生成に関するものである。LLMが要求工学（RE）に与える影響に関する文献はほとんどない。REの中には、ユーザー、顧客、その他の利害関係者からシステムに対する要求を発見し、文書化する実践である要求抽出という下位分野がある。この分析では、ソフトウェアシステムの要求を引き出すLLMの能力を、タイムボックス方式とプロンプトボックス方式の研究で、人間の専門家の能力と比較した。その結果、LLMが生成した要件は、人間が生成した要件よりも整合性が高く（+1.12）、より完全である（+10.2%）という傾向が見られた。逆に、ユーザは、より整合が取れていると認識したソリューションが人間の専門家によって生成されたものであると考える傾向があることがわかった。さらに、LLMによって生成されたドキュメントのスコアは高く、720倍の速度で実行されたが、そのコストは平均して人間の専門家のわずか0.06%であった。全体として、これらの結果は、LLMが、要件定義を改善し、より効率的なリソース割り当てを可能にし、プロジェクト全体のタイムラインを短縮することによって、要件エンジニアリングにおいてますます重要な役割を果たすことを示している。

要約(オリジナル)

The majority of research around Large Language Models (LLM) application to software development has been on the subject of code generation. There is little literature on LLMs’ impact on requirements engineering (RE), which deals with the process of developing and verifying the system requirements. Within RE, there is a subdiscipline of requirements elicitation, which is the practice of discovering and documenting requirements for a system from users, customers, and other stakeholders. In this analysis, we compare LLM’s ability to elicit requirements of a software system, as compared to that of a human expert in a time-boxed and prompt-boxed study. We found LLM-generated requirements were evaluated as more aligned (+1.12) than human-generated requirements with a trend of being more complete (+10.2%). Conversely, we found users tended to believe that solutions they perceived as more aligned had been generated by human experts. Furthermore, while LLM-generated documents scored higher and performed at 720x the speed, their cost was, on average, only 0.06% that of a human expert. Overall, these findings indicate that LLMs will play an increasingly important role in requirements engineering by improving requirements definitions, enabling more efficient resource allocation, and reducing overall project timelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL