CAD-GPT: Synthesising CAD Construction Sequence with Spatial Reasoning-Enhanced Multimodal LLMs

要約

コンピュータ支援設計 (CAD) は、正確な 2D および 3D モデリング、広範な分析、最適化を可能にすることで、設計プロセスの効率、精度、革新性を大幅に高めます。
CAD モデルを作成する既存の方法は潜在ベクトルまたは点群に依存していますが、これらは入手が難しく、保存にコストがかかります。
マルチモーダル大規模言語モデル (MLLM) の最近の進歩により、研究者は CAD モデル構築に自然言語命令と画像を使用するようになりました。
ただし、これらのモデルは依然として正確な 3D 空間位置と方向を推測するのに苦労しており、ジオメトリを構築するための空間 3D 開始点と押し出し方向の決定が不正確になります。
この研究では、単一の画像またはテキスト記述のいずれかを入力として受け取る、空間推論が強化された MLLM を備えた CAD 合成手法である CAD-GPT を導入します。
正確な空間推論を実現するために、私たちのアプローチでは 3D モデリング空間メカニズムを導入しています。
この方法では、特殊な空間展開メカニズムを使用して 3D 空間位置と 3D スケッチ平面の回転角度を 1D 言語特徴空間にマッピングすると同時に、2D スケッチ座標を適切な平面空間に離散化して、空間開始位置、スケッチの向き、および 2D スケッチを正確に決定できるようにします。
コーディネート翻訳。
広範な実験により、CAD-GPT が CAD モデル合成における既存の最先端の方法よりも量的および質的に一貫して優れていることが実証されました。

要約(オリジナル)

Computer-aided design (CAD) significantly enhances the efficiency, accuracy, and innovation of design processes by enabling precise 2D and 3D modeling, extensive analysis, and optimization. Existing methods for creating CAD models rely on latent vectors or point clouds, which are difficult to obtain and costly to store. Recent advances in Multimodal Large Language Models (MLLMs) have inspired researchers to use natural language instructions and images for CAD model construction. However, these models still struggle with inferring accurate 3D spatial location and orientation, leading to inaccuracies in determining the spatial 3D starting points and extrusion directions for constructing geometries. This work introduces CAD-GPT, a CAD synthesis method with spatial reasoning-enhanced MLLM that takes either a single image or a textual description as input. To achieve precise spatial inference, our approach introduces a 3D Modeling Spatial Mechanism. This method maps 3D spatial positions and 3D sketch plane rotation angles into a 1D linguistic feature space using a specialized spatial unfolding mechanism, while discretizing 2D sketch coordinates into an appropriate planar space to enable precise determination of spatial starting position, sketch orientation, and 2D sketch coordinate translations. Extensive experiments demonstrate that CAD-GPT consistently outperforms existing state-of-the-art methods in CAD model synthesis, both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google