Multimodal Active Measurement for Human Mesh Recovery in Close Proximity

要約

物理的な人間とロボットの相互作用 (pHRI) の場合、ロボットは対象者の正確な体の姿勢を推定する必要があります。
ただし、これらの pHRI シナリオでは、対象者は物理的な相互作用のためにロボットの近くにいる必要があるため、ロボットは装備されたカメラで対象者の身体を完全に観察することはできません。
この距離が近いと、深刻な切断やオクルージョンが発生し、人間の姿勢推定の精度が低下します。
この困難な環境での精度を向上させるために、2D LiDAR などのタッチ センサーや測距センサーを備えたカメラのアクティブ測定およびセンサー フュージョン フレームワークを提案します。
タッチセンサーと測距センサーの測定値はまばらですが、人体の部位の位置を特定するための信頼性が高く有益な手がかりとなります。
当社のアクティブな測定プロセスでは、カメラの視点とセンサーの配置が動的に最適化され、切断や閉塞と密接に関係する推定の不確実性が高い身体部位を測定します。
センサー フュージョン プロセスでは、タッチ センサーと測距センサーの測定値がカメラ ベースの推定値よりも信頼性が高いと仮定して、推定された姿勢を測定点に向けて位置合わせすることで、センサーの測定値をカメラ ベースの推定された姿勢に融合します。
私たちが提案した方法は、シミュレートされたアクティブな測定を使用した標準的なオクルージョンベンチマークで以前の方法を上回りました。
さらに、私たちの方法は、毛布による遮蔽などの実際的な制約がある場合でも、実際のロボットを使用して人間のポーズを確実に推定しました。

要約(オリジナル)

For physical human-robot interactions (pHRI), a robot needs to estimate the accurate body pose of a target person. However, in these pHRI scenarios, the robot cannot fully observe the target person’s body with equipped cameras because the target person must be close to the robot for physical interaction. This close distance leads to severe truncation and occlusions and thus results in poor accuracy of human pose estimation. For better accuracy in this challenging environment, we propose an active measurement and sensor fusion framework of the equipped cameras with touch and ranging sensors such as 2D LiDAR. Touch and ranging sensor measurements are sparse but reliable and informative cues for localizing human body parts. In our active measurement process, camera viewpoints and sensor placements are dynamically optimized to measure body parts with higher estimation uncertainty, which is closely related to truncation or occlusion. In our sensor fusion process, assuming that the measurements of touch and ranging sensors are more reliable than the camera-based estimations, we fuse the sensor measurements to the camera-based estimated pose by aligning the estimated pose towards the measured points. Our proposed method outperformed previous methods on the standard occlusion benchmark with simulated active measurement. Furthermore, our method reliably estimated human poses using a real robot, even with practical constraints such as occlusion by blankets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google