CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers?

要約

AI支援設計のための汎用CADエージェント「CAD-Assistant」を提案します。
私たちのアプローチは、プランナーとしての強力な Vision and Large Language Model (VLLM) と、CAD 固有のモジュールを使用したツール拡張パラダイムに基づいています。
CAD-Assistant は、Python API を介してアクセスされる FreeCAD ソフトウェアを搭載した Python インタープリタ上で繰り返し実行されるアクションを生成することで、マルチモーダルなユーザー クエリに対応します。
私たちのフレームワークは、生成された CAD コマンドがジオメトリに与える影響を評価し、CAD 設計の発展状態に基づいて後続のアクションを適応させることができます。
私たちは、Python ライブラリ、FreeCAD Python API のモジュール、便利なルーチン、レンダリング関数、その他の特殊なモジュールなど、幅広い CAD 固有のツールを検討します。
私たちは複数の CAD ベンチマークでメソッドを評価し、多様な CAD ワークフローにわたる汎用 CAD タスク ソルバーとしてのツール拡張 VLLM の可能性を定性的に実証します。

要約(オリジナル)

We propose CAD-Assistant, a general-purpose CAD agent for AI-assisted design. Our approach is based on a powerful Vision and Large Language Model (VLLM) as a planner and a tool-augmentation paradigm using CAD-specific modules. CAD-Assistant addresses multimodal user queries by generating actions that are iteratively executed on a Python interpreter equipped with the FreeCAD software, accessed via its Python API. Our framework is able to assess the impact of generated CAD commands on geometry and adapts subsequent actions based on the evolving state of the CAD design. We consider a wide range of CAD-specific tools including Python libraries, modules of the FreeCAD Python API, helpful routines, rendering functions and other specialized modules. We evaluate our method on multiple CAD benchmarks and qualitatively demonstrate the potential of tool-augmented VLLMs as generic CAD task solvers across diverse CAD workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google