Low Fidelity Visuo-Tactile Pretraining Improves Vision-Only Manipulation Performance

要約

触覚は実世界の操作課題を解決するための重要な要素であるが、操作用の触覚センサーには壊れやすさやコストなどの使用上の障壁がある。本研究では、精密な事前較正センサに代わるものとして、堅牢で低コストの触覚センサBeadSightを操作の事前訓練に用いる。我々は、BeadSightのような低忠実度のセンサーであっても、触覚プレトレーニングが複雑な操作タスクにおける模倣学習エージェントのパフォーマンスを向上させることができることを示す。我々は、この方法を、より高精度のGelSightセンサーをプリトレーニングの触覚入力として使用した、ベースラインのUSBケーブル差込みタスクに対して実証する。我々の最高のBeadSight事前学習済み視覚触覚エージェントは70%の精度でタスクを完了したのに対し、最高のGelSight事前学習済み視覚触覚エージェントは85%の精度でタスクを完了した。

要約(オリジナル)

Tactile perception is a critical component of solving real-world manipulation tasks, but tactile sensors for manipulation have barriers to use such as fragility and cost. In this work, we engage a robust, low-cost tactile sensor, BeadSight, as an alternative to precise pre-calibrated sensors for a pretraining approach to manipulation. We show that tactile pretraining, even with a low-fidelity sensor as BeadSight, can improve an imitation learning agent’s performance on complex manipulation tasks. We demonstrate this method against a baseline USB cable plugging task, previously achieved with a much higher precision GelSight sensor as the tactile input to pretraining. Our best BeadSight pretrained visuo-tactile agent completed the task with 70\% accuracy compared to 85\% for the best GelSight pretrained visuo-tactile agent, with vision-only inference for both.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL