Learning Tactile Insertion in the Real World

要約

人間には優れた触覚感覚能力があり、これを活用して、視覚的な観察だけでは解決できない、部分的に観察可能な困難な課題を解決できます。
触覚センシングの研究は、ロボットのこの新しい入力様式を解き放つことを試みています。
最近、これらのセンサーは安価になり、広く入手できるようになりました。
同時に、それらを制御ループにどのように統合するかという問題は依然として活発な研究分野であり、中心的な課題は部分的な可観測性と操作タスクの接触が多い性質です。
この研究では、強化学習を使用してエンドツーエンドのポリシーを学習し、触覚センサーの読み取り値からアクションに直接マッピングすることを提案します。
具体的には、シミュレーションと実際のシステムの両方で、Franka Research 3 を使用した、部分的に観察可能な困難なロボット挿入タスクに Dreamer-v3 を使用します。
実際のセットアップでは、完全に自律的にリセットできるロボット プラットフォームを構築し、人間の監督なしで広範なトレーニングを実行できるようにしました。
私たちの予備的な結果は、Dreamer が触覚入力を利用してシミュレーションと現実におけるロボット操作タスクを解決できることを示しています。
さらに、ロボットに触覚フィードバックを提供すると、一般にタスクのパフォーマンスが向上することがわかりました。ただし、私たちのセットアップにはまだ他のセンシングモダリティが含まれていません。
将来的には、私たちのプラットフォームを利用して、触覚タスクに関する他のさまざまな強化学習アルゴリズムを評価する予定です。

要約(オリジナル)

Humans have exceptional tactile sensing capabilities, which they can leverage to solve challenging, partially observable tasks that cannot be solved from visual observation alone. Research in tactile sensing attempts to unlock this new input modality for robots. Lately, these sensors have become cheaper and, thus, widely available. At the same time, the question of how to integrate them into control loops is still an active area of research, with central challenges being partial observability and the contact-rich nature of manipulation tasks. In this study, we propose to use Reinforcement Learning to learn an end-to-end policy, mapping directly from tactile sensor readings to actions. Specifically, we use Dreamer-v3 on a challenging, partially observable robotic insertion task with a Franka Research 3, both in simulation and on a real system. For the real setup, we built a robotic platform capable of resetting itself fully autonomously, allowing for extensive training runs without human supervision. Our preliminary results indicate that Dreamer is capable of utilizing tactile inputs to solve robotic manipulation tasks in simulation and reality. Furthermore, we find that providing the robot with tactile feedback generally improves task performance, though, in our setup, we do not yet include other sensing modalities. In the future, we plan to utilize our platform to evaluate a wide range of other Reinforcement Learning algorithms on tactile tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google