Multi Actor-Critic DDPG for Robot Action Space Decomposition: A Framework to Control Large 3D Deformation of Soft Linear Objects

要約

変形可能な線形物体 (DLO) のロボット操作は、農業や工業などのさまざまな分野で応用できる大きな可能性を秘めています。
ただし、大きな課題は、ロボットの動きと DLO 変形の間の関係を記述する正確な変形モデルを取得することにあります。
このようなモデルは分析的に計算することが難しく、DLO ごとに異なります。
したがって、DLO の操作は、特に高精度のグローバル モデルを必要とする大きな変形を実現する場合に、重大な課題を引き起こします。
これらの課題に対処するために、この論文では、DLO の大きな 3D 変形を制御するロボットのアクション空間分解のための新しいマルチ Actor-Critic フレームワークである MultiAC6 を紹介します。
私たちのアプローチでは、2 つの深層強化学習 (DRL) エージェントがロボット グリッパーの方向を決めて配置し、DLO を目的の形状に変形させます。
これまでの DRL ベースの研究とは異なり、MultiAC6 はシミュレーションと現実のギャップを解決でき、現実世界の設定で最大 40 cm の大きな 3D 変形を実現します。
実験結果では、MultiAC6 は単一エージェントのアプローチよりも成功率が 66\% 高いことも示しています。
さらなる実験研究では、MultiAC6 が、再トレーニングなしで、長さや材質が異なる DLO に対して適切に一般化できることが実証されています。

要約(オリジナル)

Robotic manipulation of deformable linear objects (DLOs) has great potential for applications in diverse fields such as agriculture or industry. However, a major challenge lies in acquiring accurate deformation models that describe the relationship between robot motion and DLO deformations. Such models are difficult to calculate analytically and vary among DLOs. Consequently, manipulating DLOs poses significant challenges, particularly in achieving large deformations that require highly accurate global models. To address these challenges, this paper presents MultiAC6: a new multi Actor-Critic framework for robot action space decomposition to control large 3D deformations of DLOs. In our approach, two deep reinforcement learning (DRL) agents orient and position a robot gripper to deform a DLO into the desired shape. Unlike previous DRL-based studies, MultiAC6 is able to solve the sim-to-real gap, achieving large 3D deformations up to 40 cm in real-world settings. Experimental results also show that MultiAC6 has a 66\% higher success rate than a single-agent approach. Further experimental studies demonstrate that MultiAC6 generalizes well, without retraining, to DLOs with different lengths or materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google