PlankAssembly: Robust 3D Reconstruction from Three Orthographic Views with Learnt Shape Programs

要約

この論文では、3 つの正投影図からの 2D 線画を 3D CAD モデルに自動的に変換する新しい方法を開発します。
この問題に対する既存の方法は、入力と出力の間の明示的な対応を維持しながら、2D 観察を 3D 空間に逆投影することによって 3D モデルを再構築します。
このような方法は入力のエラーやノイズに敏感であるため、人間の設計者が作成した入力図面が不完全な場合には実際には失敗することがよくあります。
この困難を克服するために、Transformer ベースのシーケンス生成モデルのアテンション メカニズムを利用して、入力と出力の間の柔軟なマッピングを学習します。
さらに、再構成精度を高め、CAD モデリングのアプリケーションを容易にするために、対象オブジェクトの生成に適した形状プログラムを設計します。
新しいベンチマーク データセットでの実験では、入力にノイズが多いか不完全な場合、私たちの方法が既存の方法よりも大幅に優れていることがわかりました。

要約(オリジナル)

In this paper, we develop a new method to automatically convert 2D line drawings from three orthographic views into 3D CAD models. Existing methods for this problem reconstruct 3D models by back-projecting the 2D observations into 3D space while maintaining explicit correspondence between the input and output. Such methods are sensitive to errors and noises in the input, thus often fail in practice where the input drawings created by human designers are imperfect. To overcome this difficulty, we leverage the attention mechanism in a Transformer-based sequence generation model to learn flexible mappings between the input and output. Further, we design shape programs which are suitable for generating the objects of interest to boost the reconstruction accuracy and facilitate CAD modeling applications. Experiments on a new benchmark dataset show that our method significantly outperforms existing ones when the inputs are noisy or incomplete.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google