Bi-Touch: Bimanual Tactile Manipulation with Sim-to-Real Deep Reinforcement Learning

要約

触覚フィードバックを伴う両手操作は、人間レベルのロボットの器用さの鍵となります。
ただし、このトピックはシングルアーム設定ほど検討されていません。これは、適切なハードウェアが利用できることと、比較的大きな状態アクション空間を持つタスクに効果的なコントローラーを設計する複雑さが原因の 1 つです。
ここでは、2 つの手頃な価格の産業レベルのロボット アームと低コストの高解像度触覚センサー (TacTips) を統合する、Tactile Gym 2.0 セットアップに基づく双腕触覚ロボット システム (Bi-Touch) を紹介します。
我々は、触覚フィードバックに合わせて調整された一連の両手操作タスク、つまり、双方向押し、双方向再配向、双方向収集を提示します。
効果的なポリシーを学習するために、これらのタスクに適切な報酬関数を導入し、深層強化学習による新しい目標更新メカニズムを提案します。
また、これらのポリシーを、触覚的なシミュレーションから現実へのアプローチで現実世界の設定に適用します。
私たちの分析では、シミュレーションからリアルへのアプリケーション中に遭遇するいくつかの課題を浮き彫りにし、それに対処しています。
学習されたポリシーは、シミュレーションと実際のギャップにより、双方向再配向タスクでオブジェクトを圧迫する傾向がありました。
最後に、現実世界で摂動を適用したさまざまな目に見えないオブジェクトを実験することにより、このシステムの一般化可能性と堅牢性を実証します。
コードとビデオは https://sites.google.com/view/bi-touch/ で入手できます。

要約(オリジナル)

Bimanual manipulation with tactile feedback will be key to human-level robot dexterity. However, this topic is less explored than single-arm settings, partly due to the availability of suitable hardware along with the complexity of designing effective controllers for tasks with relatively large state-action spaces. Here we introduce a dual-arm tactile robotic system (Bi-Touch) based on the Tactile Gym 2.0 setup that integrates two affordable industrial-level robot arms with low-cost high-resolution tactile sensors (TacTips). We present a suite of bimanual manipulation tasks tailored towards tactile feedback: bi-pushing, bi-reorienting and bi-gathering. To learn effective policies, we introduce appropriate reward functions for these tasks and propose a novel goal-update mechanism with deep reinforcement learning. We also apply these policies to real-world settings with a tactile sim-to-real approach. Our analysis highlights and addresses some challenges met during the sim-to-real application, e.g. the learned policy tended to squeeze an object in the bi-reorienting task due to the sim-to-real gap. Finally, we demonstrate the generalizability and robustness of this system by experimenting with different unseen objects with applied perturbations in the real world. Code and videos are available at https://sites.google.com/view/bi-touch/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google