ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning

要約

強化学習(RL)は、現代のAIシステムの開発においていたるところに見られる。しかし、最先端のRLエージェントは、効果的に学習するために、環境との広範で、潜在的に安全でない相互作用を必要とする。このような制限は、RLエージェントをシミュレートされた環境に閉じ込め、実世界の設定で直接学習する能力を妨げている。本研究では、安全で効率的な探索のための新しいモデルベースRLアルゴリズムであるActSafeを発表する。ActSafeは、システムの十分に較正された確率モデルを学習し、未知のダイナミクスに関する認識論的不確実性に対して楽観的な計画を行う一方で、安全制約に対して悲観的な計画を行う。制約とダイナミクスの正則性仮定の下で、ActSafeが学習中の安全性を保証すると同時に、有限時間で最適に近い方針を得ることを示す。さらに、最新のモデルベースRLの進歩に基づき、視覚制御のような高次元設定においても安全な探索を可能にするActSafeの実用的な変形を提案する。ActSafeが、学習中の安全性を確保しつつ、標準的な安全な深層RLベンチマークにおいて、困難な探索タスクにおいて最先端の性能を得ることを実証的に示す。

要約(オリジナル)

Reinforcement learning (RL) is ubiquitous in the development of modern AI systems. However, state-of-the-art RL agents require extensive, and potentially unsafe, interactions with their environments to learn effectively. These limitations confine RL agents to simulated environments, hindering their ability to learn directly in real-world settings. In this work, we present ActSafe, a novel model-based RL algorithm for safe and efficient exploration. ActSafe learns a well-calibrated probabilistic model of the system and plans optimistically w.r.t. the epistemic uncertainty about the unknown dynamics, while enforcing pessimism w.r.t. the safety constraints. Under regularity assumptions on the constraints and dynamics, we show that ActSafe guarantees safety during learning while also obtaining a near-optimal policy in finite time. In addition, we propose a practical variant of ActSafe that builds on latest model-based RL advancements and enables safe exploration even in high-dimensional settings such as visual control. We empirically show that ActSafe obtains state-of-the-art performance in difficult exploration tasks on standard safe deep RL benchmarks while ensuring safety during learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL