Visuotactile-Based Learning for Insertion with Compliant Hands

要約

リジッドハンドと比較して、作動が不十分なコンプライアントハンドは物体の形状への適応性が高く、安定した把握が可能で、多くの場合コスト効率が高くなります。
しかし、それらは、固有のコンプライアンスと硬い手のような正確な指の固有受容の欠如により、手と物体の相互作用に不確実性をもたらします。
これらの制限は、挿入などの接触が多いタスクを実行する場合に特に重要になります。
これらの課題に対処するには、堅牢な挿入機能を可能にする追加のセンシング モダリティが必要です。
この手紙では、視覚触覚の役割に焦点を当て、従順な手で挿入作業を成功させるための必須のセンシング要件について検討します。
私たちは、オールラウンド触覚センシングと外部深度カメラを活用する、シミュレーションベースのマルチモーダル政策学習フレームワークを提案します。
教師と生徒の蒸留プロセスを通じてトレーニングされたトランスフォーマー ベースのポリシーは、それ以上トレーニングすることなく、現実世界のロボット システムに正常に転送されます。
私たちの結果は、オブジェクトとソケットの正確な姿勢推定、シミュレートからリアルへの移行の成功、および堅牢なタス​​ク実行のために、視覚認識と組み合わせた触覚センシングの重要な役割を強調しています。

要約(オリジナル)

Compared to rigid hands, underactuated compliant hands offer greater adaptability to object shapes, provide stable grasps, and are often more cost-effective. However, they introduce uncertainties in hand-object interactions due to their inherent compliance and lack of precise finger proprioception as in rigid hands. These limitations become particularly significant when performing contact-rich tasks like insertion. To address these challenges, additional sensing modalities are required to enable robust insertion capabilities. This letter explores the essential sensing requirements for successful insertion tasks with compliant hands, focusing on the role of visuotactile perception. We propose a simulation-based multimodal policy learning framework that leverages all-around tactile sensing and an extrinsic depth camera. A transformer-based policy, trained through a teacher-student distillation process, is successfully transferred to a real-world robotic system without further training. Our results emphasize the crucial role of tactile sensing in conjunction with visual perception for accurate object-socket pose estimation, successful sim-to-real transfer and robust task execution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google