A Dynamic Safety Shield for Safe and Efficient Reinforcement Learning of Navigation Tasks

要約

Rehnection Learning（RL）は、さまざまなロボットアプリケーションに正常に適用されており、古典的な方法よりも優れています。
ただし、RLの安全性と現実世界への移転は、オープンな課題のままです。
この課題に取り組み、トレーニングと実行中にエージェントの安全を確保するための顕著な分野は、安全な補強学習です。
安全なRLは、制約されたRLおよび安全な探査アプローチを通じて達成できます。
前者は、トレーニングの終了までに安全な行動を達成するためのトレーニングの過程で、トレーニングの初期段階での衝突の数が多いことを学びます。
後者は、安全性の制約をハード制約として強制することにより堅牢な安全性を提供します。これにより、衝突が防止されますが、RLエージェントの調査が妨げられ、その結果、報酬が低くパフォーマンスが低下します。
これらの欠点を克服するために、最適化ベースのコントローラーの堅牢性とRLエージェントの長い予測機能を組み合わせた新しい安全シールドを提案し、RLエージェントがコントローラーのパラメーターを適応的に調整できるようにします。
私たちのアプローチは、衝突の数を最小限に抑えながら、ナビゲーションタスクのRLエージェントの調査を改善することができます。
シミュレーションの実験は、私たちのアプローチが、さまざまな挑戦的な環境で到達された目標と衝突率の最先端のベースラインよりも優れていることを示しています。
目標と都市の比率メトリックは、タスクを達成することを学びながら、衝突の数を最小限に抑えることの重要性を強調しています。
私たちのアプローチは、古典的な安全シールドと比較して、制約付きのRLアプローチと比較してより少ない衝突の到達目標を達成します。
最後に、実際の実験で提案された方法のパフォーマンスを実証します。

要約(オリジナル)

Reinforcement learning (RL) has been successfully applied to a variety of robotics applications, where it outperforms classical methods. However, the safety aspect of RL and the transfer to the real world remain an open challenge. A prominent field for tackling this challenge and ensuring the safety of the agents during training and execution is safe reinforcement learning. Safe RL can be achieved through constrained RL and safe exploration approaches. The former learns the safety constraints over the course of training to achieve a safe behavior by the end of training, at the cost of high number of collisions at earlier stages of the training. The latter offers robust safety by enforcing the safety constraints as hard constraints, which prevents collisions but hinders the exploration of the RL agent, resulting in lower rewards and poor performance. To overcome those drawbacks, we propose a novel safety shield, that combines the robustness of the optimization-based controllers with the long prediction capabilities of the RL agents, allowing the RL agent to adaptively tune the parameters of the controller. Our approach is able to improve the exploration of the RL agents for navigation tasks, while minimizing the number of collisions. Experiments in simulation show that our approach outperforms state-of-the-art baselines in the reached goals-to-collisions ratio in different challenging environments. The goals-to-collisions ratio metrics emphasizes the importance of minimizing the number of collisions, while learning to accomplish the task. Our approach achieves a higher number of reached goals compared to the classic safety shields and fewer collisions compared to constrained RL approaches. Finally, we demonstrate the performance of the proposed method in a real-world experiment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google