Offline Goal-Conditioned Reinforcement Learning for Shape Control of Deformable Linear Objects

要約

変形可能な物体は、ロボット操作の分野にいくつかの課題をもたらします。
非剛体動作によって生じる問題を最もよく要約するタスクの 1 つは、オブジェクトを目的の形状に駆動する必要がある形状制御です。
形状サーボ手法は、ほぼ線形の動作を伴うコンテキストでは成功することが示されていますが、より複雑なダイナミクスを伴うタスクでは失敗する可能性があります。
オフライン RL を使用して、変形可能な線形オブジェクト (DLO) の平面形状制御問題を解決する代替アプローチを調査します。
材料特性の影響を評価するために、2 つの DLO、つまり柔らかいロープと弾性コードがテストされます。
私たちはこのタスクを目標条件付きオフライン RL 問題として構成し、目に見えない目標形状を一般化する方法を学習することを目的としています。
実際のロボットで収集する必要がある実験データの量を制限するために、データ収集と拡張手順が提案されています。
最良の結果を達成するために必要な拡張の量を評価し、TD3+BC アルゴリズムでの動作の複製による正則化の効果をテストします。
最後に、提案されたアプローチが曲率反転実験において形状サーボベースラインを上回るパフォーマンスを発揮できることを示します。

要約(オリジナル)

Deformable objects present several challenges to the field of robotic manipulation. One of the tasks that best encapsulates the difficulties arising due to non-rigid behavior is shape control, which requires driving an object to a desired shape. While shape-servoing methods have been shown successful in contexts with approximately linear behavior, they can fail in tasks with more complex dynamics. We investigate an alternative approach, using offline RL to solve a planar shape control problem of a Deformable Linear Object (DLO). To evaluate the effect of material properties, two DLOs are tested namely a soft rope and an elastic cord. We frame this task as a goal-conditioned offline RL problem, and aim to learn to generalize to unseen goal shapes. Data collection and augmentation procedures are proposed to limit the amount of experimental data which needs to be collected with the real robot. We evaluate the amount of augmentation needed to achieve the best results, and test the effect of regularization through behavior cloning on the TD3+BC algorithm. Finally, we show that the proposed approach is able to outperform a shape-servoing baseline in a curvature inversion experiment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google