Stable and Safe Human-aligned Reinforcement Learning through Neural Ordinary Differential Equations

要約

強化学習 (RL) はビデオ ゲームなどのアプリケーションに優れていますが、人間の安全が最優先される人間と連携したタスクなど、現実世界の問題に RL を使用する場合、安全性と指定された目標を達成する能力を確保することは依然として困難です。
この論文では、このような人間と連携したタスクの安全性と安定性の定義を提供し、神経常微分方程式 (NODE) を利用して人間とロボットの動きを予測し、制御バリア関数 (CBF) と制御リアプノフ関数 (CLF) を統合するアルゴリズムを提案します。
アクタークリティカル手法を使用して、人間と連携したタスクの安全性と安定性を維持します。
シミュレーション結果は、このアルゴリズムが、人間と連携したタスクにおける他の方法と比較して、安全性違反が少なく、サンプル効率が高く、制御されたロボットが望ましい目標状態に到達するのに役立つことを示しています。

要約(オリジナル)

Reinforcement learning (RL) excels in applications such as video games, but ensuring safety as well as the ability to achieve the specified goals remains challenging when using RL for real-world problems, such as human-aligned tasks where human safety is paramount. This paper provides safety and stability definitions for such human-aligned tasks, and then proposes an algorithm that leverages neural ordinary differential equations (NODEs) to predict human and robot movements and integrates the control barrier function (CBF) and control Lyapunov function (CLF) with the actor-critic method to help to maintain the safety and stability for human-aligned tasks. Simulation results show that the algorithm helps the controlled robot to reach the desired goal state with fewer safety violations and better sample efficiency compared to other methods in a human-aligned task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google