Occupancy Planes for Single-view RGB-D Human Reconstruction

要約

陰関数を用いた単眼式RGB-D人体復元は、しばしば点ごとの分類として定式化される。具体的には、まずカメラのビューフラスタム内の3次元位置の集合を独立に画像に投影し、その後、各3次元位置に対応する特徴量を抽出する。そして、各3次元位置の特徴量を用いて、対応する3次元点が観測対象物の内部にあるか外部にあるかを独立に分類する。この方法では、隣接する位置の予測値間の相関が、抽出された特徴量を介して暗黙的に考慮されるだけであるため、最適とは言えない結果になる。より正確な結果を得るために、我々は占有平面（OPlanes）表現を提案する。これは、カメラのビューフラストレーションをスライスする平面上の占有予測として、シングルビューRGB-D人間再構成を定式化することができるものである。このような表現は、ボクセルグリッドよりも柔軟性があり、点ごとの分類よりも相関をうまく利用することができる。S3Dの難しいデータにおいて、OPlanes表現に基づくシンプルな分類器が、特に他のオブジェクトによる部分的なオクルージョンや、先行研究で対処されていない部分的な可視性を伴う難しい状況において、説得力のある結果をもたらすことが観察された。

要約(オリジナル)

Single-view RGB-D human reconstruction with implicit functions is often formulated as per-point classification. Specifically, a set of 3D locations within the view-frustum of the camera are first projected independently onto the image and a corresponding feature is subsequently extracted for each 3D location. The feature of each 3D location is then used to classify independently whether the corresponding 3D point is inside or outside the observed object. This procedure leads to sub-optimal results because correlations between predictions for neighboring locations are only taken into account implicitly via the extracted features. For more accurate results we propose the occupancy planes (OPlanes) representation, which enables to formulate single-view RGB-D human reconstruction as occupancy prediction on planes which slice through the camera’s view frustum. Such a representation provides more flexibility than voxel grids and enables to better leverage correlations than per-point classification. On the challenging S3D data we observe a simple classifier based on the OPlanes representation to yield compelling results, especially in difficult situations with partial occlusions due to other objects and partial visibility, which haven’t been addressed by prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL