SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth Sampling

要約

1 つのスケッチ イメージに基づいて 3D 形状を再構築することは、まばらで不規則なスケッチと規則的で密集した 3D 形状との間のドメイン ギャップが大きいため、困難です。
既存の作業では、スケッチから抽出されたグローバル フィーチャを使用して 3D 座標を直接予測しようとしますが、通常、入力スケッチに忠実でない細部が失われるという問題があります。
3D から 2D への投影プロセスを分析することで、2D 点群の分布を特徴付ける密度マップ (つまり、投影面の各位置に投影される点の確率) をプロキシとして使用して、
再構築プロセス。
この目的のために、最初に画像変換ネットワークを介してスケッチを、密度マップの生成に使用できるより有益な 2D 表現に変換します。
次に、2 段階の確率的サンプリング プロセスを介して 3D ポイント クラウドが再構築されます。
次に、各2Dポイントによって決定された光線で深度値をサンプリングすることにより、深度（つまり、z座標）を予測します。
広範な実験が行われ、定量的および定性的な結果の両方が、提案されたアプローチが他のベースライン方法よりも大幅に優れていることを示しています。

要約(オリジナル)

Reconstructing a 3D shape based on a single sketch image is challenging due to the large domain gap between a sparse, irregular sketch and a regular, dense 3D shape. Existing works try to employ the global feature extracted from sketch to directly predict the 3D coordinates, but they usually suffer from losing fine details that are not faithful to the input sketch. Through analyzing the 3D-to-2D projection process, we notice that the density map that characterizes the distribution of 2D point clouds (i.e., the probability of points projected at each location of the projection plane) can be used as a proxy to facilitate the reconstruction process. To this end, we first translate a sketch via an image translation network to a more informative 2D representation that can be used to generate a density map. Next, a 3D point cloud is reconstructed via a two-stage probabilistic sampling process: first recovering the 2D points (i.e., the x and y coordinates) by sampling the density map; and then predicting the depth (i.e., the z coordinate) by sampling the depth values at the ray determined by each 2D point. Extensive experiments are conducted, and both quantitative and qualitative results show that our proposed approach significantly outperforms other baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google