Rotating without Seeing: Towards In-hand Dexterity through Touch

要約

触覚情報は、人間の器用さにおいて重要な役割を果たします。
視覚から直接推測できない有用な連絡先情報を明らかにします。
実際、人間は視覚を使わずに手の器用な操作を行うことさえできます。
多指ロボットハンドで同じ機能を有効にすることはできますか?
この論文では、物体を見ずに触れるだけで手持ち物体の回転を実行することを提案します。
小さな領域での正確な触覚センシングに頼る代わりに、ロボットの手全体 (手のひら、指のリンク、指先) の片側を覆う高密度バイナリ フォース センサー (タッチまたは非タッチ) を使用する新しいシステム設計を導入します。
このような設計は低コストで、対象物をより広くカバーし、同時に Sim2Real ギャップを最小限に抑えます。
シミュレーションでさまざまなオブジェクトに対して強化学習を使用して、インハンド ローテーション ポリシーをトレーニングします。
タッチのみのセンシングに依存して、ポリシーを実際のロボットハンドに直接展開し、トレーニングでは提示されない新しいオブジェクトを回転させることができます。
触覚情報が手の操作にどのように役立つかについて、広範なアブレーションが実行されます。
私たちのプロジェクトは https://touchdexterity.github.io で入手できます。

要約(オリジナル)

Tactile information plays a critical role in human dexterity. It reveals useful contact information that may not be inferred directly from vision. In fact, humans can even perform in-hand dexterous manipulation without using vision. Can we enable the same ability for the multi-finger robot hand? In this paper, we propose to perform in-hand object rotation using only touching without seeing the object. Instead of relying on precise tactile sensing in a small region, we introduce a new system design using dense binary force sensors (touch or no touch) overlaying one side of the whole robot hand (palm, finger links, fingertips). Such a design is low-cost, giving a larger coverage of the object, and minimizing the Sim2Real gap at the same time. We train an in-hand rotation policy using Reinforcement Learning on diverse objects in simulation. Relying on touch-only sensing, we can directly deploy the policy in a real robot hand and rotate novel objects that are not presented in training. Extensive ablations are performed on how tactile information help in-hand manipulation. Our project is available at https://touchdexterity.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google