CAD-SIGNet: CAD Language Inference from Point Clouds using Layer-wise Sketch Instance Guided Attention

要約

コンピュータ支援設計 (CAD) の分野におけるリバース エンジニアリングは長年の願望でしたが、まだ完全には実現していません。
その主な目的は、3D スキャンから物理オブジェクトの背後にある CAD プロセスを明らかにすることです。
我々は、入力点群からのスケッチと押し出しのシーケンスとして表される CAD モデルの設計履歴を復元するための、エンドツーエンドのトレーニング可能な自動回帰アーキテクチャである CAD-SIGNet を提案します。
私たちのモデルは、点群と CAD 言語の埋め込みの間のレイヤーごとのクロスアテンションによって視覚言語表現を学習します。
特に、スケッチのきめ細かい詳細を再構築するために、新しい Sketch インスタンスの Guided Attention (SGA) モジュールが提案されています。
自動回帰の性質により、CAD-SIGNet は入力点群を与えられた対応する CAD モデルの独自の完全な設計履歴を再構築するだけでなく、複数の妥当な設計の選択肢も提供します。
これにより、設計プロセスとともに次のステップの複数の選択肢が設計者に提供されるため、インタラクティブなリバース エンジニアリング シナリオが可能になります。
公開されている CAD データセットに対する広範な実験により、完全な設計履歴の回復と点群からの条件付き自動完成という 2 つの設定で、既存のベースライン モデルに対するアプローチの有効性が実証されました。

要約(オリジナル)

Reverse engineering in the realm of Computer-Aided Design (CAD) has been a longstanding aspiration, though not yet entirely realized. Its primary aim is to uncover the CAD process behind a physical object given its 3D scan. We propose CAD-SIGNet, an end-to-end trainable and auto-regressive architecture to recover the design history of a CAD model represented as a sequence of sketch-and-extrusion from an input point cloud. Our model learns visual-language representations by layer-wise cross-attention between point cloud and CAD language embedding. In particular, a new Sketch instance Guided Attention (SGA) module is proposed in order to reconstruct the fine-grained details of the sketches. Thanks to its auto-regressive nature, CAD-SIGNet not only reconstructs a unique full design history of the corresponding CAD model given an input point cloud but also provides multiple plausible design choices. This allows for an interactive reverse engineering scenario by providing designers with multiple next-step choices along with the design process. Extensive experiments on publicly available CAD datasets showcase the effectiveness of our approach against existing baseline models in two settings, namely, full design history recovery and conditional auto-completion from point clouds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google