Low Fidelity Visuo-Tactile Pretraining Improves Vision-Only Manipulation Performance

要約

触覚は現実世界の操作タスクを解決するための重要な要素ですが、操作用の触覚センサーには壊れやすさやコストなどの使用上の障壁があります。
この研究では、操作の事前トレーニング アプローチのための正確な事前校正済みセンサーの代替として、堅牢で低コストの触覚センサー BeadSight を使用します。
我々は、BeadSight のような忠実度の低いセンサーを使用した場合でも、触覚の事前トレーニングによって、複雑な操作タスクにおける模倣学習エージェントのパフォーマンスを向上させることができることを示します。
この方法をベースラインの USB ケーブル接続タスクに対して実証します。以前は、事前トレーニングへの触覚入力としてはるかに高精度の GelSight センサーを使用して達成されていました。
当社の最高の BeadSight 事前トレーニング済み視覚触覚エージェントは 70\% の精度でタスクを完了しましたが、最高の GelSight 事前トレーニング済み視覚触覚エージェントでは 85\% の精度でタスクを完了しました (両方とも視覚のみの推論を使用)。

要約(オリジナル)

Tactile perception is a critical component of solving real-world manipulation tasks, but tactile sensors for manipulation have barriers to use such as fragility and cost. In this work, we engage a robust, low-cost tactile sensor, BeadSight, as an alternative to precise pre-calibrated sensors for a pretraining approach to manipulation. We show that tactile pretraining, even with a low-fidelity sensor as BeadSight, can improve an imitation learning agent’s performance on complex manipulation tasks. We demonstrate this method against a baseline USB cable plugging task, previously achieved with a much higher precision GelSight sensor as the tactile input to pretraining. Our best BeadSight pretrained visuo-tactile agent completed the task with 70\% accuracy compared to 85\% for the best GelSight pretrained visuo-tactile agent, with vision-only inference for both.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google