3D Reconstruction from Sketches

要約

複数のスケッチから3Dシーンを再構築する問題を検討します。
（1）通信ポイントを使用して複数のスケッチを縫い合わせ、（2）縫い付けられたスケッチをサイクルを使用して現実的な画像に変換し、（3）Megadepthと呼ばれる事前に訓練された畳み込みニューラルネットワークベースのアーキテクチャを使用した画像の深さマップを推定することを含むパイプラインを提案します。
私たちの貢献には、Image-Sketchペアのデータセットの構築が含まれます。これは、チューリッヒビルディングデータベースからの画像であり、スケッチは私たちによって生成されました。
このデータセットを使用して、パイプラインの2番目のステップでCycleganをトレーニングします。
実際の図面によく一般化されないステッチプロセスになりますが、単一のスケッチから3D再構成を作成するパイプラインの残りの部分は、さまざまな図面で非常にうまく機能します。

要約(オリジナル)

We consider the problem of reconstructing a 3D scene from multiple sketches. We propose a pipeline which involves (1) stitching together multiple sketches through use of correspondence points, (2) converting the stitched sketch into a realistic image using a CycleGAN, and (3) estimating that image’s depth-map using a pre-trained convolutional neural network based architecture called MegaDepth. Our contribution includes constructing a dataset of image-sketch pairs, the images for which are from the Zurich Building Database, and sketches have been generated by us. We use this dataset to train a CycleGAN for our pipeline’s second step. We end up with a stitching process that does not generalize well to real drawings, but the rest of the pipeline that creates a 3D reconstruction from a single sketch performs quite well on a wide variety of drawings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google