Low Fidelity Visuo-Tactile Pretraining Improves Vision-Only Manipulation Performance

要約

触覚知覚は現実世界の操作タスクを解決するための重要な要素ですが、操作用の触覚センサーには壊れやすさやコストなどの使用上の障壁があります。
この研究では、操作の事前トレーニング アプローチのための正確な事前校正済みセンサーの代替として、堅牢で低コストの触覚センサー BeadSight を使用します。
我々は、BeadSight のような忠実度の低いセンサーを使用した場合でも、触覚の事前トレーニングによって、複雑な操作タスクにおける模倣学習エージェントのパフォーマンスを向上させることができることを示します。
この方法をベースラインの USB ケーブル差し込みタスクに対して実証します。以前は、事前トレーニングへの触覚入力としてはるかに高精度の GelSight センサーを使用して達成されていました。
当社の最高の BeadSight 事前トレーニング済み視覚触覚エージェントは 70\% の精度でタスクを完了しましたが、最高の GelSight 事前トレーニング済み視覚触覚エージェントでは 85\% の精度でタスクを完了しました (両方とも視覚のみの推論を使用)。

要約(オリジナル)

Tactile perception is a critical component of solving real-world manipulation tasks, but tactile sensors for manipulation have barriers to use such as fragility and cost. In this work, we engage a robust, low-cost tactile sensor, BeadSight, as an alternative to precise pre-calibrated sensors for a pretraining approach to manipulation. We show that tactile pretraining, even with a low-fidelity sensor as BeadSight, can improve an imitation learning agent’s performance on complex manipulation tasks. We demonstrate this method against a baseline USB cable plugging task, previously achieved with a much higher precision GelSight sensor as the tactile input to pretraining. Our best BeadSight pretrained visuo-tactile agent completed the task with 70\% accuracy compared to 85\% for the best GelSight pretrained visuo-tactile agent, with vision-only inference for both.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google