In-Hand Object Pose Estimation via Visual-Tactile Fusion

要約

ロボットオブジェクトの操作には、正確なインポーズの推定が重要ですが、視覚閉塞は視力ベースのアプローチにとって大きな課題のままです。
このホワイトペーパーでは、ロボットインオブジェクトのポーズ推定へのアプローチを提示し、視覚的な情報と触覚情報を組み合わせて、ロボットの手で把握したオブジェクトの位置と方向を正確に決定します。
リストに取り付けられたRGB-Dカメラからの視覚情報を、ロボットグリッパーの指先に取り付けられた視覚ベースの触覚センサーからの触覚情報と融合することにより、視覚閉塞の課題に対処します。
私たちのアプローチでは、重み付けおよびセンサー融合モジュールを採用して、異種センサータイプのポイントクラウドを組み合わせ、各モダリティのポーズ推定プロセスへの貢献を制御します。
加重ポイント雲に適応した拡張反復的な最も近いポイント（ICP）アルゴリズムを使用して、6Dオブジェクトのポーズを推定します。
私たちの実験は、触覚情報を組み込むことで、特に閉塞が高い場合、ポーズ推定の精度が大幅に向上することを示しています。
私たちの方法では、平均ポーズ推定誤差が7.5 mmおよび16.7度を達成し、視力のみのベースラインを最大20％上回ります。
また、現実世界の挿入タスクで正確なオブジェクト操作を実行する方法の能力も示します。

要約(オリジナル)

Accurate in-hand pose estimation is crucial for robotic object manipulation, but visual occlusion remains a major challenge for vision-based approaches. This paper presents an approach to robotic in-hand object pose estimation, combining visual and tactile information to accurately determine the position and orientation of objects grasped by a robotic hand. We address the challenge of visual occlusion by fusing visual information from a wrist-mounted RGB-D camera with tactile information from vision-based tactile sensors mounted on the fingertips of a robotic gripper. Our approach employs a weighting and sensor fusion module to combine point clouds from heterogeneous sensor types and control each modality’s contribution to the pose estimation process. We use an augmented Iterative Closest Point (ICP) algorithm adapted for weighted point clouds to estimate the 6D object pose. Our experiments show that incorporating tactile information significantly improves pose estimation accuracy, particularly when occlusion is high. Our method achieves an average pose estimation error of 7.5 mm and 16.7 degrees, outperforming vision-only baselines by up to 20%. We also demonstrate the ability of our method to perform precise object manipulation in a real-world insertion task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google