CADCrafter: Generating Computer-Aided Design Models from Unconstrained Images

要約

物理的な世界からCADデジタル双子を作成することは、製造、設計、シミュレーションに不可欠です。
ただし、現在の方法は、通常、労働集約的な後処理で費用のかかる3Dスキャンに依存しています。
ユーザーフレンドリーな設計プロセスを提供するために、すべてのエクスペリエンスのユーザーが簡単にキャプチャできる制約のない実世界のCAD画像からのリバースエンジニアリングの問題を調査します。
ただし、実際のCADデータの希少性は、そのようなモデルを直接トレーニングする際に課題をもたらします。
これらの課題に取り組むために、現実世界の画像でテストしながら合成テクステレスCADデータのみでトレーニングする画像からパラメトリックのCADモデル生成フレームワークであるCADCrafterを提案します。
画像とパラメトリックCADモデルの間の重要な表現の格差を橋渡しするために、多様な幾何学的特徴を正確にキャプチャするジオメトリエンコーダーを導入します。
さらに、幾何学的特徴のテクスチャ不変の特性は、実際のシナリオへの一般化を促進する可能性があります。
CADパラメーターシーケンスを明示的なCADモデルにコンパイルすることは非分化不可能なプロセスであるため、ネットワークトレーニングには本質的に明示的な幾何学的監督がありません。
幾何学的妥当性の制約を課すために、CADシーケンス品質に関する自動コードチェッカーフィードバックでモデルを微調整するために、直接優先最適化（DPO）を使用します。
さらに、メソッドを評価するために、マルチビュー画像と対応するCADコマンドシーケンスペアで構成される実際のデータセットを収集しました。
実験結果は、私たちのアプローチが本物の制約のないCAD画像を堅牢に処理し、目に見えない一般的なオブジェクトに一般化できることを示しています。

要約(オリジナル)

Creating CAD digital twins from the physical world is crucial for manufacturing, design, and simulation. However, current methods typically rely on costly 3D scanning with labor-intensive post-processing. To provide a user-friendly design process, we explore the problem of reverse engineering from unconstrained real-world CAD images that can be easily captured by users of all experiences. However, the scarcity of real-world CAD data poses challenges in directly training such models. To tackle these challenges, we propose CADCrafter, an image-to-parametric CAD model generation framework that trains solely on synthetic textureless CAD data while testing on real-world images. To bridge the significant representation disparity between images and parametric CAD models, we introduce a geometry encoder to accurately capture diverse geometric features. Moreover, the texture-invariant properties of the geometric features can also facilitate the generalization to real-world scenarios. Since compiling CAD parameter sequences into explicit CAD models is a non-differentiable process, the network training inherently lacks explicit geometric supervision. To impose geometric validity constraints, we employ direct preference optimization (DPO) to fine-tune our model with the automatic code checker feedback on CAD sequence quality. Furthermore, we collected a real-world dataset, comprised of multi-view images and corresponding CAD command sequence pairs, to evaluate our method. Experimental results demonstrate that our approach can robustly handle real unconstrained CAD images, and even generalize to unseen general objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google