Assessing GPT-4-Vision’s Capabilities in UML-Based Code Generation

要約

高度なニューラル ネットワークの出現により、概念モデルから自動コード生成の新たな道が開かれ、ソフトウェア開発プロセスの強化が期待されます。
このペーパーでは、最先端の深層学習モデルである GPT-4-Vision の予備評価と、統一モデリング言語 (UML) クラス図を完全に動作する Java クラス ファイルに変換するその機能について説明します。
私たちの研究では、10 個のシングルクラス図と 8 個のマルチクラス図で構成される 18 個のクラス図のエクスポートされたイメージを使用しました。
各入力に対して 3 つの異なるプロンプトを使用し、結果を手動で評価しました。
私たちは、ソース コード内の図で見つかった要素の出現をスコアリングするスコアリング システムを作成しました。
平均して、モデルは図に示されている要素の 88% のソース コードを生成できました。
私たちの結果は、GPT-4-Vision が単一クラスの UML 図の処理に熟練しており、構文的に正しいクラス ファイルに変換できることを示しています。
ただし、マルチクラス UML 図の場合、モデルのパフォーマンスは単一クラス図に比べて低くなります。
要約すると、モデルの可能性を完全に活用するには、さらなる調査が必要です。

要約(オリジナル)

The emergence of advanced neural networks has opened up new ways in automated code generation from conceptual models, promising to enhance software development processes. This paper presents a preliminary evaluation of GPT-4-Vision, a state-of-the-art deep learning model, and its capabilities in transforming Unified Modeling Language (UML) class diagrams into fully operating Java class files. In our study, we used exported images of 18 class diagrams comprising 10 single-class and 8 multi-class diagrams. We used 3 different prompts for each input, and we manually evaluated the results. We created a scoring system in which we scored the occurrence of elements found in the diagram within the source code. On average, the model was able to generate source code for 88% of the elements shown in the diagrams. Our results indicate that GPT-4-Vision exhibits proficiency in handling single-class UML diagrams, successfully transforming them into syntactically correct class files. However, for multi-class UML diagrams, the model’s performance is weaker compared to single-class diagrams. In summary, further investigations are necessary to exploit the model’s potential completely.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google