Multimodal Active Measurement for Human Mesh Recovery in Close Proximity

要約

安全で高度な物理的人間とロボットの相互作用 (pHRI) を実現するには、ロボットは対象者の正確な体の姿勢やメッシュを推定する必要があります。
ただし、これらの pHRI シナリオでは、対象者は通常ロボットの近くにいるため、ロボットは装備されたカメラで対象者の身体を完全に観察することができません。
これにより、深刻な切り詰めやオクルージョンが発生し、人間の姿勢推定の精度が低下します。
カメラからのこの限られた情報に基づく人間の姿勢推定やメッシュ復元の精度を高めるために、装備されたカメラと、タッチ センサーや 2D LiDAR などの他のセンサーのアクティブ測定およびセンサー フュージョン フレームワークを提案します。
これらのタッチおよび LiDAR センシングは、追加コストなしで pHRI を通じて同時に取得されます。
これらのセンサー測定値は、まばらではありますが、信頼性が高く、人間によるメッシュ回復のための有益な手がかりとなります。
当社のアクティブな測定プロセスでは、カメラの視点とセンサーの配置が、切り詰められた領域や遮蔽された領域に密接に関係する推定ポーズの不確実性に基づいて最適化されます。
センサー フュージョン プロセスでは、推定メッシュと測定位置の間の距離を最小限に抑えることで、センサー測定値をカメラベースの推定姿勢に融合します。
私たちの方法はロボットの構成に依存しません。
実験は、ロボットアームにカメラ、2D LiDAR、タッチセンサーを搭載したトヨタヒューマンサポートロボットを用いて行われました。
定量的な比較において提案手法が人間の姿勢推定精度の優位性を実証した。
さらに、提案手法は、毛布で遮られた対象者やロボットアームによる立位補助などの実際の環境において、対象者の姿勢を確実に推定することができた。

要約(オリジナル)

For safe and sophisticated physical human-robot interactions (pHRI), a robot needs to estimate the accurate body pose or mesh of the target person. However, in these pHRI scenarios, the robot cannot fully observe the target person’s body with equipped cameras because the target person is usually close to the robot. This leads to severe truncation and occlusions, and results in poor accuracy of human pose estimation. For better accuracy of human pose estimation or mesh recovery on this limited information from cameras, we propose an active measurement and sensor fusion framework of the equipped cameras and other sensors such as touch sensors and 2D LiDAR. These touch and LiDAR sensing are obtained attendantly through pHRI without additional costs. These sensor measurements are sparse but reliable and informative cues for human mesh recovery. In our active measurement process, camera viewpoints and sensor placements are optimized based on the uncertainty of the estimated pose, which is closely related to the truncated or occluded areas. In our sensor fusion process, we fuse the sensor measurements to the camera-based estimated pose by minimizing the distance between the estimated mesh and measured positions. Our method is agnostic to robot configurations. Experiments were conducted using the Toyota Human Support Robot, which has a camera, 2D LiDAR, and a touch sensor on the robot arm. Our proposed method demonstrated the superiority in the human pose estimation accuracy on the quantitative comparison. Furthermore, our proposed method reliably estimated the pose of the target person in practical settings such as target people occluded by a blanket and standing aid with the robot arm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google