Software Model Evolution with Large Language Models: Experiments on Simulated, Public, and Industrial Datasets

要約

ソフトウェア システムの構造と動作のモデリングは、ソフトウェア エンジニアリングの産業実践において重要な役割を果たします。
他のソフトウェア エンジニアリング成果物と同様、ソフトウェア モデルは進化する可能性があります。
ただし、モデル完成のための推奨事項を提供して、進化するソフトウェア モデルのモデラーをサポートすることは、まだ未解決の問題です。
この論文では、このタスクに対する大規模言語モデルの可能性を探ります。
特に、大規模な言語モデル、モデル履歴、モデル完成のための検索拡張生成を活用するアプローチである RAMC を提案します。
産業用アプリケーション、1 つの公開オープンソース コミュニティ データセット、およびシミュレートされたモデル リポジトリの 1 つの管理されたコレクションを含む 3 つのデータセットでの実験を通じて、RAMC を使用したモデル完成のための大規模言語モデルの可能性を評価します。
私たちは、大規模な言語モデルがソフトウェア モデルの進化をサポートするための有望なテクノロジーであることを発見しました (実際の産業データで 62.30% の意味的に正しい補完と、最大 86.19% の型の正しい補完)。
大規模な言語モデルの一般的な推論機能は、例が少ない、ノイズが多い、またはまったく例がない概念を扱う場合に特に役立ちます。

要約(オリジナル)

Modeling structure and behavior of software systems plays a crucial role in the industrial practice of software engineering. As with other software engineering artifacts, software models are subject to evolution. Supporting modelers in evolving software models with recommendations for model completions is still an open problem, though. In this paper, we explore the potential of large language models for this task. In particular, we propose an approach, RAMC, leveraging large language models, model histories, and retrieval-augmented generation for model completion. Through experiments on three datasets, including an industrial application, one public open-source community dataset, and one controlled collection of simulated model repositories, we evaluate the potential of large language models for model completion with RAMC. We found that large language models are indeed a promising technology for supporting software model evolution (62.30% semantically correct completions on real-world industrial data and up to 86.19% type-correct completions). The general inference capabilities of large language models are particularly useful when dealing with concepts for which there are few, noisy, or no examples at all.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google