Point Cloud Registration of non-rigid objects in sparse 3D Scans with applications in Mixed Reality

要約

点群登録は、同じ物体を参照する2つの3次元点群の対応点を揃える問題である。実世界の3Dスキャンのノイズや部分的な一致に対処することが課題となっています。また、非剛体の場合、2つの3Dスキャンの間に対象物に起こる形状の変形を考慮するという課題もある。このプロジェクトでは、拡張現実（Augmented Reality）と複合現実（Mixed Reality）の領域で使用するための非剛体点群登録の問題を研究しています。我々は、例えば、手を持つロボットやヒンジを持つ機械など、関節を中心に互いに相対的に動く部品を持つ剛体オブジェクトで起こる非剛体変形の特別なクラスに注目する。我々は、このようなオブジェクトのための効率的で堅牢な点群登録ワークフローを提案し、主要な複合現実感デバイスであるMicrosoft Hololens 2を用いて収集した実世界のデータでそれを評価する。

要約(オリジナル)

Point Cloud Registration is the problem of aligning the corresponding points of two 3D point clouds referring to the same object. The challenges include dealing with noise and partial match of real-world 3D scans. For non-rigid objects, there is an additional challenge of accounting for deformations in the object shape that happen to the object in between the two 3D scans. In this project, we study the problem of non-rigid point cloud registration for use cases in the Augmented/Mixed Reality domain. We focus our attention on a special class of non-rigid deformations that happen in rigid objects with parts that move relative to one another about joints, for example, robots with hands and machines with hinges. We propose an efficient and robust point-cloud registration workflow for such objects and evaluate it on real-world data collected using Microsoft Hololens 2, a leading Mixed Reality device.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL