CMT: A Cascade MAR with Topology Predictor for Multimodal Conditional CAD Generation

要約

正確でユーザーフレンドリーなコンピューター支援設計（CAD）は、工業デザインと製造に非常に重要ですが、マルチモーダル設計の要件をサポートできない単純化された表現またはアーキテクチャのために、既存の方法がこれを達成するのに苦労しています。
このホワイトペーパーでは、この問題とデータセットの両方の側面からこの問題に取り組むことを試みます。
まず、境界表現（B-REP）に基づくCAD生成の最初のマルチモーダルフレームワークであるトポロジー予測因子（CMT）を備えたカスケードMARを提案します。
具体的には、Cascade MarはB-Repsに不可欠な「エッジカウンターと表面」の “ `edge-counters-surface」を効果的にキャプチャできますが、トポロジー予測因子は3月のコンパクトトークンのB-repsのトポロジーを直接推定します。
第二に、大規模なトレーニングを容易にするために、ポイントクラウド、テキストの説明、マルチビュー画像を含むマルチモーダル注釈を備えた130万以上のB-REPモデルを含む大規模なマルチモーダルCADデータセットMMABCを開発します。
広範な実験では、条件付きおよび無条件のCAD生成タスクの両方でCMTの上位が示されています。
たとえば、無条件の世代におけるABCの最先端の方法と比較して、カバレッジと有効な比率をそれぞれ +10.68％と +10.3％改善します。
CMTは、MMABCの画像条件付けられたCAD生成で+4.01面取りも改善します。
データセット、コード、および事前処理されたネットワークがリリースされます。

要約(オリジナル)

While accurate and user-friendly Computer-Aided Design (CAD) is crucial for industrial design and manufacturing, existing methods still struggle to achieve this due to their over-simplified representations or architectures incapable of supporting multimodal design requirements. In this paper, we attempt to tackle this problem from both methods and datasets aspects. First, we propose a cascade MAR with topology predictor (CMT), the first multimodal framework for CAD generation based on Boundary Representation (B-Rep). Specifically, the cascade MAR can effectively capture the “edge-counters-surface” priors that are essential in B-Reps, while the topology predictor directly estimates topology in B-Reps from the compact tokens in MAR. Second, to facilitate large-scale training, we develop a large-scale multimodal CAD dataset, mmABC, which includes over 1.3 million B-Rep models with multimodal annotations, including point clouds, text descriptions, and multi-view images. Extensive experiments show the superior of CMT in both conditional and unconditional CAD generation tasks. For example, we improve Coverage and Valid ratio by +10.68% and +10.3%, respectively, compared to state-of-the-art methods on ABC in unconditional generation. CMT also improves +4.01 Chamfer on image conditioned CAD generation on mmABC. The dataset, code and pretrained network shall be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google