Deep Learning Assisted Optimization for 3D Reconstruction from Single 2D Line Drawings

要約

このホワイト ペーパーでは、単一の線画から 3D オブジェクトを自動的に再構築するという長年の問題を再検討します。
以前の最適化ベースの方法は、コンパクトで正確な 3D モデルを生成できますが、その成功率は、(i) 真の幾何学的制約の十分なセットを特定する能力と、(ii) 数値最適化のための適切な初期値を選択する能力に大きく依存します。
これらの課題を考慮して、ディープ ニューラル ネットワークをトレーニングして、3D オブジェクト内の幾何学的エンティティ (つまり、エッジ) 間のペアワイズ関係を検出し、頂点の初期深度値を予測することを提案します。
CAD モデルの大規模なデータセットに対する私たちの実験では、幾何学的制約解決パイプラインでディープ ラーニングを活用することにより、最適化ベースの 3D 再構築の成功率が大幅に向上することが示されています。

要約(オリジナル)

In this paper, we revisit the long-standing problem of automatic reconstruction of 3D objects from single line drawings. Previous optimization-based methods can generate compact and accurate 3D models, but their success rates depend heavily on the ability to (i) identifying a sufficient set of true geometric constraints, and (ii) choosing a good initial value for the numerical optimization. In view of these challenges, we propose to train deep neural networks to detect pairwise relationships among geometric entities (i.e., edges) in the 3D object, and to predict initial depth value of the vertices. Our experiments on a large dataset of CAD models show that, by leveraging deep learning in a geometric constraint solving pipeline, the success rate of optimization-based 3D reconstruction can be significantly improved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google