Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions

要約

強化学習 (RL) は、ロボットの複雑な制御タスクを管理する際に優れたパフォーマンスを発揮します。
ただし、強力な安全保証がないため、物理ロボットへの幅広い応用は制限されます。
この課題を克服するために、この論文では、動的モデルを明示的に使用せずに、データのみに基づいて安全性と到達可能性を分析する制御リアプノフバリア関数 (CLBF) を検討します。
また、安全性と到達可能性の条件のデータベースの近似を満たすコントローラーを検索するために、モデルフリーの RL アルゴリズムである Lyapunov Barrier Actor-Critic (LBAC) を提案しました。
提案されたアプローチは、シミュレーションと現実世界のロボット制御実験、つまり 2D クワローター ナビゲーション タスクを通じて実証されます。
実験結果は、このアプローチが到達可能性と安全性において有効であり、他のモデルフリー RL 手法を上回ることを明らかにしています。

要約(オリジナル)

Reinforcement learning (RL) exhibits impressive performance when managing complicated control tasks for robots. However, its wide application to physical robots is limited by the absence of strong safety guarantees. To overcome this challenge, this paper explores the control Lyapunov barrier function (CLBF) to analyze the safety and reachability solely based on data without explicitly employing a dynamic model. We also proposed the Lyapunov barrier actor-critic (LBAC), a model-free RL algorithm, to search for a controller that satisfies the data-based approximation of the safety and reachability conditions. The proposed approach is demonstrated through simulation and real-world robot control experiments, i.e., a 2D quadrotor navigation task. The experimental findings reveal this approach’s effectiveness in reachability and safety, surpassing other model-free RL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google