Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction

要約

安全性は、すべてのロボット プラットフォームの重要な特性です。制御ポリシーは常にアクチュエータの制限に準拠し、環境や人間との衝突を回避する必要があります。
強化学習では、損傷を与えることなく環境を探索するための安全性がさらに重要になります。
安全な探査の問題には多くの解決策が提案されていますが、現実世界の複雑さに対処できるものはごくわずかです。
この論文では、さまざまなロボット タスクの強化学習のための安全な探索の新しい定式化を紹介します。
私たちのアプローチは、幅広いクラスのロボットプラットフォームに適用され、制約多様体の接空間を探索することにより、データから学習した複雑な衝突制約の下でも安全性を確保します。
私たちが提案するアプローチは、環境との衝突を回避しながら、シミュレートされた高次元で動的なタスクで最先端のパフォーマンスを実現します。
学習したコントローラーを TIAGo++ ロボットに実際に安全に展開し、操作および人間とロボットの相互作用タスクで優れたパフォーマンスを達成することを示します。

要約(オリジナル)

Safety is a crucial property of every robotic platform: any control policy should always comply with actuator limits and avoid collisions with the environment and humans. In reinforcement learning, safety is even more fundamental for exploring an environment without causing any damage. While there are many proposed solutions to the safe exploration problem, only a few of them can deal with the complexity of the real world. This paper introduces a new formulation of safe exploration for reinforcement learning of various robotic tasks. Our approach applies to a wide class of robotic platforms and enforces safety even under complex collision constraints learned from data by exploring the tangent space of the constraint manifold. Our proposed approach achieves state-of-the-art performance in simulated high-dimensional and dynamic tasks while avoiding collisions with the environment. We show safe real-world deployment of our learned controller on a TIAGo++ robot, achieving remarkable performance in manipulation and human-robot interaction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google