Switching Pushing Skill Combined MPC and Deep Reinforcement Learning for Planar Non-prehensile Manipulation

要約

この論文では、人間の押す動作からインスピレーションを得て、押し点の離散的意思決定と連続フィードバック制御の2つのサブ問題を含む、平面的で掴みにくい操作の効率を改善するために、新しい切り替え押しスキルアルゴリズムが提案されています。
プッシュアクションの。
上記のサブ問題を解決するために、モデル予測制御 (MPC) と深層強化学習 (DRL) 手法の組み合わせが採用されています。
まず、プッシュポイントの選択はマルコフ決定プロセスとしてモデル化され、報酬関数を再形成することによりオフポリシーDRLメソッドが使用され、現在の
州。
次に、ターゲットからの距離に基づいて特定のプッシュ ポイントのモーション制約領域 (MCR) が構築され、続いて MPC コントローラーを使用して、MCR 内のオブジェクトのモーションをターゲット ポーズに調整します。
押し点を切り替えるトリガー条件は、オブジェクトが押し動作の下で MCR の境界に到達したときに発生します。
その後、ターゲット ポーズに到達するまで、プッシュ ポイントとコントローラーが繰り返し更新されます。
方法を評価するために、シミュレーション環境と物理環境の両方で 4 つの異なるオブジェクト形状に対してプッシュ実験を実施しました。
結果は、私たちの方法が大幅に高いトレーニング効率を達成し、ほぼ同じ成功率を維持しながら、ベースライン方法のわずか約 20% のトレーニング時間で達成することを示しています。
さらに、私たちの方法は、トレーニングと押し操作の実行効率の両方の点でベースライン方法よりも優れており、ロボットの押しスキルの迅速な学習を可能にします。

要約(オリジナル)

In this paper, a novel switching pushing skill algorithm is proposed to improve the efficiency of planar non-prehensile manipulation, which draws inspiration from human pushing actions and comprises two sub-problems, i.e., discrete decision-making of pushing point and continuous feedback control of pushing action. In order to solve the sub-problems above, a combination of Model Predictive Control (MPC) and Deep Reinforcement Learning (DRL) method is employed. Firstly, the selection of pushing point is modeled as a Markov decision process,and an off-policy DRL method is used by reshaping the reward function to train the decision-making model for selecting pushing point from a pre-constructed set based on the current state. Secondly, a motion constraint region (MCR) is constructed for the specific pushing point based on the distance from the target, followed by utilizing the MPC controller to regulate the motion of the object within the MCR towards the target pose. The trigger condition for switching the pushing point occurs when the object reaches the boundary of the MCR under the pushing action. Subsequently, the pushing point and the controller are updated iteratively until the target pose is reached. We conducted pushing experiments on four distinct object shapes in both simulated and physical environments to evaluate our method. The results indicate that our method achieves a significantly higher training efficiency, with a training time that is only about 20% of the baseline method while maintaining around the same success rate. Moreover, our method outperforms the baseline method in terms of both training and execution efficiency of pushing operations, allowing for rapid learning of robot pushing skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google