HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR

要約

大規模な屋内と屋外のシーン、多様な人間の動き、人間と環境の間の豊かな相互作用を含むダイナミックなデジタル世界を正確かつ効率的に作成するために、人間中心の4Dシーンキャプチャ（HSC4D）を提案します。
HSC4Dは、ボディに取り付けられたIMUとLiDARのみを使用しており、外部デバイスの制約がなくてもスペースがなく、事前に作成されたマップがなくてもマップがありません。
IMUは人間のポーズをキャプチャできますが、長期間の使用では常にドリフトすることを考慮して、LiDARはグローバルなローカリゼーションでは安定していますが、ローカルの位置と方向ではラフです。HSC4Dは、共同最適化によって両方のセンサーを相互に補完し、長期的に有望な結果を実現します。
捕獲。
人間と環境の関係も調査され、それらの相互作用がより現実的になります。
AR、VR、ロボット、自動運転などの多くのダウンストリームタスクを容易にするために、正確で動的な人間の動きと位置を持つ3つの大きなシーン（1k-5k $ m ^ 2 $）を含むデータセットを提案します。
さまざまなシナリオ（クライミングジム、高層ビル、スロープなど）と挑戦的な人間の活動（運動、階段の上り下り、登山など）は、HSC4Dの有効性と一般化能力を示しています。
データセットとコードはhttp://www.lidarhumanmotion.net/hsc4d/で入手できます。

要約(オリジナル)

We propose Human-centered 4D Scene Capture (HSC4D) to accurately and efficiently create a dynamic digital world, containing large-scale indoor-outdoor scenes, diverse human motions, and rich interactions between humans and environments. Using only body-mounted IMUs and LiDAR, HSC4D is space-free without any external devices’ constraints and map-free without pre-built maps. Considering that IMUs can capture human poses but always drift for long-period use, while LiDAR is stable for global localization but rough for local positions and orientations, HSC4D makes both sensors complement each other by a joint optimization and achieves promising results for long-term capture. Relationships between humans and environments are also explored to make their interaction more realistic. To facilitate many down-stream tasks, like AR, VR, robots, autonomous driving, etc., we propose a dataset containing three large scenes (1k-5k $m^2$) with accurate dynamic human motions and locations. Diverse scenarios (climbing gym, multi-story building, slope, etc.) and challenging human activities (exercising, walking up/down stairs, climbing, etc.) demonstrate the effectiveness and the generalization ability of HSC4D. The dataset and code are available at http://www.lidarhumanmotion.net/hsc4d/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google