Sketch2CAD: 3D CAD Model Reconstruction from 2D Sketch using Visual Transformer

要約

現在の3D再構築方法は、通常、ボクセル、ポイントクラウド、またはメッシュの形で出力を生成します。
ただし、これらの各形式には、粗い表面や歪んだ構造など、固有の制限があります。
さらに、これらのデータ型は、さらに手動の編集と後処理に理想的ではありません。
この論文では、CAD互換モデルを再構築することにより、これらの欠点を克服するために設計された新しい3D再構成方法を提示します。
視覚的な変圧器をトレーニングして、単一の2Dワイヤフレーム画像から「シーン記述子」を予測しました。
この記述子には、オブジェクトの種類や位置、回転、サイズなどのパラメーターなどの重要な情報が含まれています。
予測されたパラメーターを使用して、Rhino Grasshopperなどのプログラム可能なインターフェイスを備えた3Dモデリングソフトウェアで3Dシーンを再構築して、B-REPの形で非常に編集可能な3Dモデルを構築できます。
提案されたモデルを評価するために、2つのデータセットを作成しました。1つはシンプルなシーンと、より複雑なシーンを持つシーンで構成されています。
テスト結果は、より複雑なシーンでの困難を強調しながら、単純なシーンを正確に再構築するモデルの機能を示しています。

要約(オリジナル)

Current 3D reconstruction methods typically generate outputs in the form of voxels, point clouds, or meshes. However, each of these formats has inherent limitations, such as rough surfaces and distorted structures. Additionally, these data types are not ideal for further manual editing and post-processing. In this paper, we present a novel 3D reconstruction method designed to overcome these disadvantages by reconstructing CAD-compatible models. We trained a visual transformer to predict a ‘scene descriptor’ from a single 2D wire-frame image. This descriptor includes essential information, such as object types and parameters like position, rotation, and size. Using the predicted parameters, a 3D scene can be reconstructed with 3D modeling software that has programmable interfaces, such as Rhino Grasshopper, to build highly editable 3D models in the form of B-rep. To evaluate our proposed model, we created two datasets: one consisting of simple scenes and another with more complex scenes. The test results indicate the model’s capability to accurately reconstruct simple scenes while highlighting its difficulties with more complex ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google