From Concept to Manufacturing: Evaluating Vision-Language Models for Engineering Design

要約

AI の出現によりエンジニアリング設計は大きな変化を遂げており、製品、システム、サービスの計画へのアプローチ方法が新時代を迎えています。
大規模な言語モデルは、この変化を可能にする優れた機能を実証しています。
しかし、テキストが唯一の入力手段であるため、エンジニアが何世紀にもわたって使用し、慣れ親しんでいる大量の視覚的アーティファクトを活用することができません。
このギャップは、GPT-4V などのマルチモーダル ビジョン言語モデル (VLM) のリリースによって解決され、AI がより多くの種類のタスクに影響を与えることが可能になります。
私たちの仕事は、概念設計、システムレベルおよび詳細設計、製造および検査、およびエンジニアリング教育タスクの 4 つの主要領域に分類される、一連のエンジニアリング設計タスクにわたる VLM の包括的な評価を示しています。
具体的には、このペーパーでは、スケッチ類似性分析、CAD 生成、トポロジー最適化、製造可能性評価、工学教科書の問題などの設計タスクにおける 2 つの VLM、GPT-4V および LLaVA 1.6 34B の機能を評価します。
この構造化された評価を通じて、複雑な設計課題を処理する際の VLM の熟練度を調査するだけでなく、複雑なエンジニアリング設計アプリケーションにおける VLM の限界も特定します。
私たちの研究は、視覚言語モデルの将来の評価のための基礎を確立します。
また、この分野の継続的な進歩と応用のために、1000 を超えるクエリを含む一連のベンチマーク テスト データセットにも貢献しています。

要約(オリジナル)

Engineering design is undergoing a transformative shift with the advent of AI, marking a new era in how we approach product, system, and service planning. Large language models have demonstrated impressive capabilities in enabling this shift. Yet, with text as their only input modality, they cannot leverage the large body of visual artifacts that engineers have used for centuries and are accustomed to. This gap is addressed with the release of multimodal vision-language models (VLMs), such as GPT-4V, enabling AI to impact many more types of tasks. Our work presents a comprehensive evaluation of VLMs across a spectrum of engineering design tasks, categorized into four main areas: Conceptual Design, System-Level and Detailed Design, Manufacturing and Inspection, and Engineering Education Tasks. Specifically in this paper, we assess the capabilities of two VLMs, GPT-4V and LLaVA 1.6 34B, in design tasks such as sketch similarity analysis, CAD generation, topology optimization, manufacturability assessment, and engineering textbook problems. Through this structured evaluation, we not only explore VLMs’ proficiency in handling complex design challenges but also identify their limitations in complex engineering design applications. Our research establishes a foundation for future assessments of vision language models. It also contributes a set of benchmark testing datasets, with more than 1000 queries, for ongoing advancements and applications in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google