Robotic Control of the Deformation of Soft Linear Objects Using Deep Reinforcement Learning

要約

本稿では、柔らかい物体を操作するための新しい制御フレームワークを提案します。
深層強化学習 (DRL) アプローチは、変形可能なオブジェクトを操作するロボット アームを制御することによって、そのオブジェクトの形状を目的の一連の点に到達させるために使用されます。
私たちのフレームワークは、既存のフレームワークよりも簡単に一般化できます。再学習することなく、さまざまな初期形状と目的の最終形状を直接操作できます。
これは、学習並列化、つまり、さまざまな環境インスタンス上で複数のエージェントを並行して実行することによって実現されます。
私たちは変形可能な線形オブジェクトに焦点を当てて研究を行っています。
これらのオブジェクトは産業分野や農業分野では興味深いものですが、ロボットによる操作、特に 3D ワークスペースでの操作は依然として困難です。
PyBulletとOpenAI Gymを使用して、トレーニングとテストのためにソフトオブジェクトとロボットの環境全体をシミュレートします。
当社は最先端の DRL 技術を組み合わせて使用​​しており、主な要素は Deep Deterministic Policy Gradient (DDPG) に基づく学習エージェント (つまりロボット) のトレーニング アプローチです。
私たちのシミュレーション結果は、提案されたアプローチの有用性と強化された一般性を裏付けています。

要約(オリジナル)

This paper proposes a new control framework for manipulating soft objects. A Deep Reinforcement Learning (DRL) approach is used to make the shape of a deformable object reach a set of desired points by controlling a robotic arm which manipulates it. Our framework is more easily generalizable than existing ones: it can work directly with different initial and desired final shapes without need for relearning. We achieve this by using learning parallelization, i.e., executing multiple agents in parallel on various environment instances. We focus our study on deformable linear objects. These objects are interesting in industrial and agricultural domains, yet their manipulation with robots, especially in 3D workspaces, remains challenging. We simulate the entire environment, i.e., the soft object and the robot, for the training and the testing using PyBullet and OpenAI Gym. We use a combination of state-of-the-art DRL techniques, the main ingredient being a training approach for the learning agent (i.e., the robot) based on Deep Deterministic Policy Gradient (DDPG). Our simulation results support the usefulness and enhanced generality of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google