Model Generation with LLMs: From Requirements to UML Sequence Diagrams

要約

自然言語 (NL) 要件をグラフィカル モデルで補完すると、関係者のコミュニケーションが改善され、システム設計の方向性が示されます。
ただし、要件からモデルを作成するには手作業が必要です。
ChatGPT がその顕著な例である生成大規模言語モデル (LLM) の出現により、モデル生成における自動支援の有望な手段が提供されます。
この論文では、NL 要件から特定のタイプのモデル、つまり UML シーケンス図を生成する ChatGPT の機能を調査します。
私たちは、さまざまなタイプおよびさまざまなドメインの 28 の要件ドキュメントについて ChatGPT によって生成されたシーケンス図を調べ​​る定性的調査を実施します。
生成された図の分析による観察結果は、評価ログを通じて体系的に取得され、テーマ分析を通じて分類されています。
私たちの結果は、モデルが一般に標準に準拠しており、妥当なレベルの理解しやすさを示しているにもかかわらず、指定された要件に対する完全性と正確性が課題となることが多いことを示しています。
この問題は、曖昧さや矛盾などの要件の臭いが存在する場合に特に顕著になります。
この研究から得られた洞察は、再生プロセスにおけるLLMの実際の利用に影響を与え、効果的なモデル生成をターゲットとした新しい再生可能エネルギー特有の促進戦略への扉を開く可能性があります。

要約(オリジナル)

Complementing natural language (NL) requirements with graphical models can improve stakeholders’ communication and provide directions for system design. However, creating models from requirements involves manual effort. The advent of generative large language models (LLMs), ChatGPT being a notable example, offers promising avenues for automated assistance in model generation. This paper investigates the capability of ChatGPT to generate a specific type of model, i.e., UML sequence diagrams, from NL requirements. We conduct a qualitative study in which we examine the sequence diagrams generated by ChatGPT for 28 requirements documents of various types and from different domains. Observations from the analysis of the generated diagrams have systematically been captured through evaluation logs, and categorized through thematic analysis. Our results indicate that, although the models generally conform to the standard and exhibit a reasonable level of understandability, their completeness and correctness with respect to the specified requirements often present challenges. This issue is particularly pronounced in the presence of requirements smells, such as ambiguity and inconsistency. The insights derived from this study can influence the practical utilization of LLMs in the RE process, and open the door to novel RE-specific prompting strategies targeting effective model generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google