Exploring 3D Human Pose Estimation and Forecasting from the Robot’s Perspective: The HARPER Dataset

要約

ユーザー間の二項対話における 3D 身体姿勢の推定と予測のための新しいデータセットである HARPER と、Boston Dynamics 製の四足ロボット \spot を紹介します。
重要な新規性は、ロボットの視点、つまりロボットのセンサーによって捕捉されたデータに焦点を当てていることです。
地面に近いと人間の一部しか捉えられないため、3D 身体姿勢解析が困難になります。
HARPER の基礎となるシナリオには 15 のアクションが含まれており、そのうち 10 にはロボットとユーザーの間の物理的な接触が含まれます。
コーパスには、Spot の内蔵ステレオ カメラの記録だけでなく、6 台のカメラ OptiTrack システムの記録も含まれています (すべての記録は同期されています)。
これにより、1 ミリメートル未満の精度での正確な骨格表現が得られます。
さらに、コーパスには、3D 人間の姿勢推定、人間の姿勢予測、衝突予測に関する再現可能なベンチマークが含まれており、すべて公開されているベースライン アプローチに基づいています。
これにより、将来の HARPER ユーザーは、自分の結果とこの研究で提供される結果を厳密に比較できるようになります。

要約(オリジナル)

We introduce HARPER, a novel dataset for 3D body pose estimation and forecast in dyadic interactions between users and \spot, the quadruped robot manufactured by Boston Dynamics. The key-novelty is the focus on the robot’s perspective, i.e., on the data captured by the robot’s sensors. These make 3D body pose analysis challenging because being close to the ground captures humans only partially. The scenario underlying HARPER includes 15 actions, of which 10 involve physical contact between the robot and users. The Corpus contains not only the recordings of the built-in stereo cameras of Spot, but also those of a 6-camera OptiTrack system (all recordings are synchronized). This leads to ground-truth skeletal representations with a precision lower than a millimeter. In addition, the Corpus includes reproducible benchmarks on 3D Human Pose Estimation, Human Pose Forecasting, and Collision Prediction, all based on publicly available baseline approaches. This enables future HARPER users to rigorously compare their results with those we provide in this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google