Deep Learning Assisted Optimization for 3D Reconstruction from Single 2D Line Drawings

要約

本論文では、1本の線画から3Dオブジェクトを自動的に再構成するという長年の問題を再検討する。これまでの最適化ベースの手法は、コンパクトで正確な3Dモデルを生成できるが、その成功率は、(i)真の幾何学的制約の十分なセットを特定する能力と、(ii)数値最適化のための良い初期値を選択する能力に大きく依存する。これらの課題に鑑み、我々は、3Dオブジェクトにおける幾何学的実体（すなわち、エッジ）間のペアワイズ関係を検出し、頂点の深さの初期値を予測するためにディープニューラルネットワークを学習させることを提案する。CADモデルの大規模データセットに対する実験から、幾何学的制約解決パイプラインに深層学習を活用することで、最適化に基づく3D再構成の成功率が大幅に改善されることが示された。

要約(オリジナル)

In this paper, we revisit the long-standing problem of automatic reconstruction of 3D objects from single line drawings. Previous optimization-based methods can generate compact and accurate 3D models, but their success rates depend heavily on the ability to (i) identifying a sufficient set of true geometric constraints, and (ii) choosing a good initial value for the numerical optimization. In view of these challenges, we propose to train deep neural networks to detect pairwise relationships among geometric entities (i.e., edges) in the 3D object, and to predict initial depth value of the vertices. Our experiments on a large dataset of CAD models show that, by leveraging deep learning in a geometric constraint solving pipeline, the success rate of optimization-based 3D reconstruction can be significantly improved.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL