Shape Completion with Points in the Shadow

要約

シングルビュー点群補完は、限られた観測データのみから対象物の完全な形状を復元することを目的としているが、データの疎密とオクルージョンのために非常に困難である。その中心的な課題は、部分的なスキャンに基づいて、オブジェクトの未観測部分を埋めるためにもっともらしい形状を生成することであり、これは制約が少なく、解空間の巨大さに悩まされている。我々は、コンピュータグラフィックスにおける古典的なシャドーボリューム技術にヒントを得て、解答空間を効果的に縮小する新しい手法を提案する。本手法では、カメラを光源とみなし、物体に向かって光線を投射する。このような光線は、適度な制約を持ちながらも十分に表現力のある補完のための基礎を構築する。そして、補完のプロセスは、点置換最適化問題として定式化される。点は部分スキャンで初期化され、光線に沿った方向移動と、形状を洗練させるための拘束された局所移動の2種類の移動を各点に対して行い、目標位置まで移動させる。我々は、補完結果を得るための理想的な点の動きを予測するために、ニューラルネットワークを設計する。本手法は、網羅的な評価と比較により、精度、ロバスト性、汎用性に優れていることを実証する。さらに、MVPデータセットにおいて、定性的にも定量的にも最先端手法を凌駕している。

要約(オリジナル)

Single-view point cloud completion aims to recover the full geometry of an object based on only limited observation, which is extremely hard due to the data sparsity and occlusion. The core challenge is to generate plausible geometries to fill the unobserved part of the object based on a partial scan, which is under-constrained and suffers from a huge solution space. Inspired by the classic shadow volume technique in computer graphics, we propose a new method to reduce the solution space effectively. Our method considers the camera a light source that casts rays toward the object. Such light rays build a reasonably constrained but sufficiently expressive basis for completion. The completion process is then formulated as a point displacement optimization problem. Points are initialized at the partial scan and then moved to their goal locations with two types of movements for each point: directional movements along the light rays and constrained local movement for shape refinement. We design neural networks to predict the ideal point movements to get the completion results. We demonstrate that our method is accurate, robust, and generalizable through exhaustive evaluation and comparison. Moreover, it outperforms state-of-the-art methods qualitatively and quantitatively on MVP datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL