Self-supervised perception for tactile skin covered dexterous hands

要約

指先、ファレンジ、および器用なロボットハンドの手のひらに分布する磁気皮膚センサー用の事前に訓練されたエンコーダーであるSparsh-Skinを紹介します。
磁気触覚スキンは、指先に制限され、帯域幅によって制限される視覚ベースの触覚センサーとは対照的に、速い応答時間を備えた手動カバレッジの柔軟なフォームファクターを提供します。
フルハンドの触覚の知覚は、ロボットの器用さにとって非常に重要です。
ただし、汎用モデルの欠如、磁束の解釈とキャリブレーションの解釈に関する課題により、これらのセンサーの採用が制限されています。
Sparsh-Skinは、手を横切って運動学的で触覚的なセンシングの歴史を考慮して、下流タスクで使用できる潜在的な触覚埋め込みを出力します。
エンコーダーは、Xela Uskinでセンサー化されたAllegroの手を使用して、さまざまな非標識手オブジェクトの相互作用に関する自己設定を通じて自己監視されます。
州の推定から政策学習まで、いくつかのベンチマークタスクにわたる実験では、前提条件のSparshスキン表現は、以前の作業と比較して下流のタスクの学習においてサンプル効率が高く、エンドツーエンドの学習と比較して56％以上のタスクパフォ​​ーマンスを改善することができます。

要約(オリジナル)

We present Sparsh-skin, a pre-trained encoder for magnetic skin sensors distributed across the fingertips, phalanges, and palm of a dexterous robot hand. Magnetic tactile skins offer a flexible form factor for hand-wide coverage with fast response times, in contrast to vision-based tactile sensors that are restricted to the fingertips and limited by bandwidth. Full hand tactile perception is crucial for robot dexterity. However, a lack of general-purpose models, challenges with interpreting magnetic flux and calibration have limited the adoption of these sensors. Sparsh-skin, given a history of kinematic and tactile sensing across a hand, outputs a latent tactile embedding that can be used in any downstream task. The encoder is self-supervised via self-distillation on a variety of unlabeled hand-object interactions using an Allegro hand sensorized with Xela uSkin. In experiments across several benchmark tasks, from state estimation to policy learning, we find that pretrained Sparsh-skin representations are both sample efficient in learning downstream tasks and improve task performance by over 41% compared to prior work and over 56% compared to end-to-end learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google