Certificated Actor-Critic: Hierarchical Reinforcement Learning with Control Barrier Functions for Safe Navigation

要約

制御バリア関数(CBFS)は、ロボットの安全なナビゲーションシステムを設計するための顕著なアプローチとして浮上しています。
人気にもかかわらず、現在のCBFベースの方法はいくつかの制限を示します。最適化ベースの安全な制御技術は近視または計算集中のいずれかである傾向があり、簡素化されたシステムモデルに依存しています。
逆に、学習ベースの方法は、ナビゲーションのパフォーマンスと安全性の観点から定量的な兆候の欠如に悩まされています。
このホワイトペーパーでは、CBFSから派生した階層補強学習フレームワークと明確に定義された報酬機能を導入する、認証された俳優Critic(CAC)と呼ばれる新しいモデルフリーの強化学習アルゴリズムを紹介します。
アルゴリズムの理論的分析と証明を実行し、アルゴリズムの実装のいくつかの改善を提案します。
分析は2つのシミュレーション実験によって検証されており、提案されているCACアルゴリズムの有効性を示しています。

要約(オリジナル)

Control Barrier Functions (CBFs) have emerged as a prominent approach to designing safe navigation systems of robots. Despite their popularity, current CBF-based methods exhibit some limitations: optimization-based safe control techniques tend to be either myopic or computationally intensive, and they rely on simplified system models; conversely, the learning-based methods suffer from the lack of quantitative indication in terms of navigation performance and safety. In this paper, we present a new model-free reinforcement learning algorithm called Certificated Actor-Critic (CAC), which introduces a hierarchical reinforcement learning framework and well-defined reward functions derived from CBFs. We carry out theoretical analysis and proof of our algorithm, and propose several improvements in algorithm implementation. Our analysis is validated by two simulation experiments, showing the effectiveness of our proposed CAC algorithm.

arxiv情報

著者 Junjun Xie,Shuhao Zhao,Liang Hu,Huijun Gao
発行日 2025-01-29 05:37:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO パーマリンク