Bridging the gap between Learning-to-plan, Motion Primitives and Safe Reinforcement Learning

要約

運動力学的制約の下での軌道計画は、複雑な環境において器用で反応的かつ迅速なスキルを必要とする高度なロボット工学アプリケーションの基本です。
これらの制約は、タスク、安全性、またはアクチュエータの制限を表す場合があり、ロボット プラットフォームの適切な機能を確保し、予期しない動作を防止するために不可欠です。
運動力学計画の最近の進歩は、計画学習技術が複雑な制約の下で複雑で反応的な動きを生成できることを実証しています。
ただし、これらの技術ではロボットとタスク全体の両方の分析モデリングが必要ですが、システムが非常に複雑な場合や、正確なタスク モデルを構築することが法外な場合には、前提条件が制限されます。
この論文では、計画学習法と強化学習を組み合わせることによってこの制限に対処し、その結果、モーション プリミティブのブラック ボックス学習と最適化の新たな統合が実現しました。
私たちは最先端の安全な強化学習法に対して私たちのアプローチを評価し、私たちの技術が、特にタスク構造を利用する場合に、ロボットエアホッケーでの打撃計画などの困難なシナリオでベースラインの方法よりも優れていることを示しています。
この研究は、複雑な運動力学的制約下で動作するロボットの性能と安全性を向上させるための当社の統合アプローチの可能性を実証しています。

要約(オリジナル)

Trajectory planning under kinodynamic constraints is fundamental for advanced robotics applications that require dexterous, reactive, and rapid skills in complex environments. These constraints, which may represent task, safety, or actuator limitations, are essential for ensuring the proper functioning of robotic platforms and preventing unexpected behaviors. Recent advances in kinodynamic planning demonstrate that learning-to-plan techniques can generate complex and reactive motions under intricate constraints. However, these techniques necessitate the analytical modeling of both the robot and the entire task, a limiting assumption when systems are extremely complex or when constructing accurate task models is prohibitive. This paper addresses this limitation by combining learning-to-plan methods with reinforcement learning, resulting in a novel integration of black-box learning of motion primitives and optimization. We evaluate our approach against state-of-the-art safe reinforcement learning methods, showing that our technique, particularly when exploiting task structure, outperforms baseline methods in challenging scenarios such as planning to hit in robot air hockey. This work demonstrates the potential of our integrated approach to enhance the performance and safety of robots operating under complex kinodynamic constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google