Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins

要約

視覚運動ポリシーの学習によりロボット操作が進歩しましたが、物理的な相互作用を推論する際の視覚の限界により、接触が多いタスクを正確に実行することは依然として困難です。
これに対処するために、最近の研究では、触覚センシングを政策学習に統合することが試みられています。
しかし、既存のアプローチの多くは、認識タスクに限定されているか、ポリシー学習のために複雑な次元削減ステップを必要とする光学触覚センサーに依存しています。
この研究では、磁気皮膚センサーを使用した学習ポリシーを検討します。磁気センサーは本質的に低次元で高感度であり、ロボット プラットフォームと統合するのに安価です。
これらのセンサーを効果的に活用するために、トランスフォーマーベースのポリシーを使用し、皮膚センサーのデータを視覚情報とともに追加のトークンとして扱うシンプルなアプローチである Visuo-Skin (ViSk) フレームワークを紹介します。
クレジット カードのスワイプ、プラグの挿入、USB の挿入、本棚の取り出しを含む 4 つの複雑な現実世界のタスクで評価したところ、ViSk は視覚のみと光学触覚センシング ベースのポリシーの両方を大幅に上回りました。
さらなる分析により、触覚モダリティと視覚モダリティを組み合わせることで政策のパフォーマンスと空間的一般化が強化され、タスク全体で平均 27.5% の改善が達成されることが明らかになりました。
https://visuoskin.github.io/

要約(オリジナル)

While visuomotor policy learning has advanced robotic manipulation, precisely executing contact-rich tasks remains challenging due to the limitations of vision in reasoning about physical interactions. To address this, recent work has sought to integrate tactile sensing into policy learning. However, many existing approaches rely on optical tactile sensors that are either restricted to recognition tasks or require complex dimensionality reduction steps for policy learning. In this work, we explore learning policies with magnetic skin sensors, which are inherently low-dimensional, highly sensitive, and inexpensive to integrate with robotic platforms. To leverage these sensors effectively, we present the Visuo-Skin (ViSk) framework, a simple approach that uses a transformer-based policy and treats skin sensor data as additional tokens alongside visual information. Evaluated on four complex real-world tasks involving credit card swiping, plug insertion, USB insertion, and bookshelf retrieval, ViSk significantly outperforms both vision-only and optical tactile sensing based policies. Further analysis reveals that combining tactile and visual modalities enhances policy performance and spatial generalization, achieving an average improvement of 27.5% across tasks. https://visuoskin.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google