Nonprehensile Planar Manipulation through Reinforcement Learning with Multimodal Categorical Exploration

要約

テーブル上の物体を押すような、非包括的で器用な操作を実現するロボットコントローラの開発は困難である。この問題は、運動不足とハイブリッドダイナミクスの性質に加え、摩擦相互作用から生じる不確実性によってさらに複雑になるため、洗練された制御動作が必要となる。強化学習（RL）は、このようなロボット制御を開発するための強力なフレームワークである。しかしながら、非包括的な押し付けタスクを扱った過去のRL文献は、精度が低く、軌道が滑らかでなく、単純な動作、すなわち操作対象物の回転のない動作しか達成していない。これは、ロボットと対象物との間に存在する、固着、滑走、分離などの様々な接触相互作用モードから生じる、タスク固有のハイブリッドダイナミクスを捉えることができないためである。本研究では、カテゴリ分布によるマルチモーダル探索アプローチを提案し、これにより、任意の開始位置と目標物体の姿勢、すなわち位置と向きに対して、平面プッシングRL方針を学習することができ、精度も向上する。学習された方針は、外乱や観測ノイズに頑健であり、複数のプッシャーが存在するタスクにも拡張可能であることを示す。さらに、KUKA iiwaロボットアームを用いて、シミュレーションのみで学習されたポリシーの物理的ロボットハードウェアへの移植性を検証する。補足ビデオhttps://youtu.be/vTdva1mgrk4。

要約(オリジナル)

Developing robot controllers capable of achieving dexterous nonprehensile manipulation, such as pushing an object on a table, is challenging. The underactuated and hybrid-dynamics nature of the problem, further complicated by the uncertainty resulting from the frictional interactions, requires sophisticated control behaviors. Reinforcement Learning (RL) is a powerful framework for developing such robot controllers. However, previous RL literature addressing the nonprehensile pushing task achieves low accuracy, non-smooth trajectories, and only simple motions, i.e. without rotation of the manipulated object. We conjecture that previously used unimodal exploration strategies fail to capture the inherent hybrid-dynamics of the task, arising from the different possible contact interaction modes between the robot and the object, such as sticking, sliding, and separation. In this work, we propose a multimodal exploration approach through categorical distributions, which enables us to train planar pushing RL policies for arbitrary starting and target object poses, i.e. positions and orientations, and with improved accuracy. We show that the learned policies are robust to external disturbances and observation noise, and scale to tasks with multiple pushers. Furthermore, we validate the transferability of the learned policies, trained entirely in simulation, to a physical robot hardware using the KUKA iiwa robot arm. See our supplemental video: https://youtu.be/vTdva1mgrk4.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL