MV2Cyl: Reconstructing 3D Extrusion Cylinders from Multi-View Images

要約

MV2Cyl は、2D マルチビュー画像から 3D を、単にフィールドまたは生のジオメトリとしてではなく、スケッチ押し出し CAD モデルとして再構成するための新しい方法です。
生の 3D ジオメトリから押出シリンダーを抽出することは、コンピュータ ビジョンで広く研究されていますが、ニューラル ネットワークによる 3D データの処理は依然としてボトルネックとなっています。
3D スキャンには通常、マルチビュー画像が伴うため、2D 畳み込みニューラル ネットワークを活用することで、これらの画像を押出シリンダー情報を抽出するための豊富なソースとして活用できます。
ただし、押し出しの表面情報のみを抽出してそれを利用すると、オクルージョンとサーフェスのセグメンテーションの問題により、次善の結果が得られることがわかりました。
抽出されたベース カーブ情報と相乗することで、2D スケッチおよび押し出しパラメータ推定において最高の精度で最適な再構成結果が得られます。
私たちの実験では、生の 3D 点群を入力として取得する以前の研究と私たちの方法を比較し、多視点画像を利用することによる私たちのアプローチの有効性を実証しました。
私たちのプロジェクト ページは http://mv2cyl.github.io にあります。

要約(オリジナル)

We present MV2Cyl, a novel method for reconstructing 3D from 2D multi-view images, not merely as a field or raw geometry but as a sketch-extrude CAD model. Extracting extrusion cylinders from raw 3D geometry has been extensively researched in computer vision, while the processing of 3D data through neural networks has remained a bottleneck. Since 3D scans are generally accompanied by multi-view images, leveraging 2D convolutional neural networks allows these images to be exploited as a rich source for extracting extrusion cylinder information. However, we observe that extracting only the surface information of the extrudes and utilizing it results in suboptimal outcomes due to the challenges in the occlusion and surface segmentation. By synergizing with the extracted base curve information, we achieve the optimal reconstruction result with the best accuracy in 2D sketch and extrude parameter estimation. Our experiments, comparing our method with previous work that takes a raw 3D point cloud as input, demonstrate the effectiveness of our approach by taking advantage of multi-view images. Our project page can be found at http://mv2cyl.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google