ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

要約

私たちは、触覚センサーと統合された 16 ドル×16 ドルの垂直方向にスライドする柱の配列で構成される分散操作システムである ArrayBot を紹介します。これは、テーブル上のオブジェクトを同時にサポートし、認識し、操作することができます。
一般化可能な分散操作を目指して、制御ポリシーの自動検出に強化学習 (RL) アルゴリズムを活用します。
大規模に冗長なアクションに直面して、空間的に局所的なアクション パッチと周波数領域の低周波アクションを考慮してアクション空間を再形成することを提案します。
この再形成されたアクション空間を使用して、触覚観察だけでさまざまなオブジェクトを再配置できる RL エージェントをトレーニングします。
驚くべきことに、発見されたポリシーは、シミュレータ内の目に見えないオブジェクトの形状に一般化できるだけでなく、ドメインのランダム化を行わずに物理的なロボットに転送できることがわかりました。
デプロイされたポリシーを活用して、現実世界の操作タスクを豊富に示し、分散操作に対する ArrayBot 上の RL の大きな可能性を示します。

要約(オリジナル)

We present ArrayBot, a distributed manipulation system consisting of a $16 \times 16$ array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google