Unified Modeling Language Code Generation from Diagram Images Using Multimodal Large Language Models

要約

統一されたモデリング言語は、ソフトウェアシステムの設計のモデリングと文書化に広く使用されている標準化された視覚言語です。
多くのツールはUMLコードからUMLダイアグラムを生成しますが、画像ベースのUML図から実行可能UMLコードを生成することは依然として困難です。
このペーパーでは、大きなマルチモーダル言語モデルを自動的に使用してUMLコードを生成する新しいアプローチを提案します。
合成UMLアクティビティとシーケンス図データセットが作成され、モデルをトレーニングおよびテストしました。
基本モデルを最適化するために、標準の微調整とLORA技術を比較しました。
実験では、さまざまなモデルサイズとトレーニング戦略にわたるコード生成の精度を測定しました。
これらの結果は、ドメインに適応したMM-LLMがUMLコード生成オートメーションで機能することを実証しました。これにより、最良のモデルでは、シーケンス図で0.779および0.942のBLEとSIMスコアを達成しました。
これにより、レガシーシステムの近代化が可能になり、ソフトウェア開発ワークフローでの手動の取り組みが減少します。

要約(オリジナル)

The Unified Modeling Language is a standardized visual language widely used for modeling and documenting the design of software systems. Although many tools generate UML diagrams from UML code, generating executable UML code from image-based UML diagrams remains challenging. This paper proposes a new approach to generate UML code using a large multimodal language model automatically. Synthetic UML activity and sequence diagram datasets were created to train and test the model. We compared standard fine-tuning with LoRA techniques to optimize base models. The experiments measured code generation accuracy across different model sizes and training strategies. These results demonstrated that domain-adapted MM-LLMs perform for UML code generation automation, whereby, at the best model, it achieved BLEU and SSIM scores of 0.779 and 0.942 on sequence diagrams. This will enable the modernization of legacy systems and decrease the manual effort in software development workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google