Multi-modal Summarization in Model-Based Engineering: Automotive Software Development Case Study

要約

多様なデータモダリティから情報を統合するマルチモーダルの要約は、さまざまなプロセス内の情報の理解を支援する有望なソリューションを提示します。
ただし、マルチモーダルの要約のアプリケーションと利点は、モデルベースのエンジニアリング（MBE）であまり注目されていません。そこでは、複雑なシステムの設計と開発の基礎となり、工学ライフサイクル全体の理解、検証、自動化を改善するための正式なモデルを活用しています。
モデルベースのエンジニアリングのUMLおよびEMF図には、大量のマルチモーダル情報と複雑なリレーショナルデータが含まれています。
したがって、我々の研究では、Modelベースのエンジニアリングのドメイン内でマルチモーダルの大手言語モデルの適用を調査して、UMLおよびEMF図に組み込まれた関係、機能、機能を理解および特定する能力を評価します。
私たちは、MBEプラクティスの生産性と精度を向上させるためのマルチモーダル要約の変革的な潜在的な利点と制限を実証することを目指しています。
提案されたアプローチは、自動車ソフトウェア開発のコンテキスト内で評価されますが、多くの有望な最先端モデルが考慮されました。

要約(オリジナル)

Multimodal summarization integrating information from diverse data modalities presents a promising solution to aid the understanding of information within various processes. However, the application and advantages of multimodal summarization have not received much attention in model-based engineering (MBE), where it has become a cornerstone in the design and development of complex systems, leveraging formal models to improve understanding, validation and automation throughout the engineering lifecycle. UML and EMF diagrams in model-based engineering contain a large amount of multimodal information and intricate relational data. Hence, our study explores the application of multimodal large language models within the domain of model-based engineering to evaluate their capacity for understanding and identifying relationships, features, and functionalities embedded in UML and EMF diagrams. We aim to demonstrate the transformative potential benefits and limitations of multimodal summarization in improving productivity and accuracy in MBE practices. The proposed approach is evaluated within the context of automotive software development, while many promising state-of-art models were taken into account.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google