Learning Excavation of Rigid Objects with Offline Reinforcement Learning

要約

自律的な掘削は困難な作業です。
掘削機のバケットと地形との間の未知の接触ダイナミクスは、掘削中に大きな接触力とジャミングの問題を容易に引き起こす可能性があります。
従来のモデルベースの方法では、複雑な動的モデリングが原因で、このような問題を処理するのに苦労しています。
この論文では、3 つの新しい操作プリミティブを使用して発掘スキルを定式化します。
大量のオンライン ロボット対話を回避するために、オフライン強化学習 (RL) を使用して操作プリミティブを学習することを提案します。
提案された方法は、ジャミングを引き起こすことなく最適な軌道を定式化するために一緒に「縫い合わせる」ことができるサブ軌道を含む最適ではないデモンストレーションから効率的な貫通スキルを学ぶことができます。
さまざまな剛体の掘削に関する広範な実験で提案された方法を評価し、学習したポリシーがデモンストレーションよりも優れていることを示します。
また、学習したポリシーが、オンラインでの微調整により、目に見えない困難な断片化された岩石に迅速に適応できることも示しています。

要約(オリジナル)

Autonomous excavation is a challenging task. The unknown contact dynamics between the excavator bucket and the terrain could easily result in large contact forces and jamming problems during excavation. Traditional model-based methods struggle to handle such problems due to complex dynamic modeling. In this paper, we formulate the excavation skills with three novel manipulation primitives. We propose to learn the manipulation primitives with offline reinforcement learning (RL) to avoid large amounts of online robot interactions. The proposed method can learn efficient penetration skills from sub-optimal demonstrations, which contain sub-trajectories that can be “stitched’ together to formulate an optimal trajectory without causing jamming. We evaluate the proposed method with extensive experiments on excavating a variety of rigid objects and demonstrate that the learned policy outperforms the demonstrations. We also show that the learned policy can quickly adapt to unseen and challenging fragmented rocks with online fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google