Occupancy Planes for Single-view RGB-D Human Reconstruction

要約

陰関数を使用したシングルビュー RGB-D 人間の再構成は、多くの場合、ポイントごとの分類として定式化されます。
具体的には、カメラの視錐台内の一連の 3D 位置が最初に独立して画像に投影され、続いて対応する特徴が各 3D 位置に対して抽出されます。
次に、各 3D 位置の特徴を使用して、対応する 3D ポイントが観測対象の内側にあるか外側にあるかを個別に分類します。
隣接する場所の予測間の相関関係は、抽出された特徴を介して暗黙的にのみ考慮されるため、この手順は最適ではない結果につながります。
より正確な結果を得るために、占有平面 (OPlanes) 表現を提案します。これにより、カメラの視錐台をスライスする平面での占有予測として、単一ビューの RGB-D 人間再構成を定式化できます。
このような表現は、ボクセル グリッドよりも柔軟性が高く、ポイントごとの分類よりも相関関係をより有効に活用できます。
困難な S3D データでは、OPlanes 表現に基づく単純な分類子を観察して、説得力のある結果を生成します。特に、以前の作業では対処されていない、他のオブジェクトや部分的な可視性による部分的なオクルージョンを伴う困難な状況で、説得力のある結果が得られます。

要約(オリジナル)

Single-view RGB-D human reconstruction with implicit functions is often formulated as per-point classification. Specifically, a set of 3D locations within the view-frustum of the camera are first projected independently onto the image and a corresponding feature is subsequently extracted for each 3D location. The feature of each 3D location is then used to classify independently whether the corresponding 3D point is inside or outside the observed object. This procedure leads to sub-optimal results because correlations between predictions for neighboring locations are only taken into account implicitly via the extracted features. For more accurate results we propose the occupancy planes (OPlanes) representation, which enables to formulate single-view RGB-D human reconstruction as occupancy prediction on planes which slice through the camera’s view frustum. Such a representation provides more flexibility than voxel grids and enables to better leverage correlations than per-point classification. On the challenging S3D data we observe a simple classifier based on the OPlanes representation to yield compelling results, especially in difficult situations with partial occlusions due to other objects and partial visibility, which haven’t been addressed by prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google