Safety-Aware Task Composition for Discrete and Continuous Reinforcement Learning

要約

構成性は、スケーラブルなシステム設計の重要な側面です。
強化学習 (RL) は最近、タスク学習において大きな成功を収めていますが、実際に構成を活用し始めたのはつい最近のことです。
この論文では、機能的または逐次的構成ではなく、学習したタスクのブール的構成に焦点を当てます。
RL の既存のブール合成は、離散的なアクション スペースを持つ環境で満足のいく吸収状態に到達することに重点を置いていますが、合成可能な安全性 (つまり、回避) 制約をサポートしていません。
私たちは、次の 3 つの貢献により、学習済みタスクのブール合成における最先端技術を進歩させています。i) このフレームワークに 2 つの異なる安全概念を導入します。
ii) いずれかの安全セマンティクスを強制し、（いくつかの仮定のもとで）正しさを証明し、2 つの安全概念間のトレードオフを分析する方法を示す。
iii) ブール合成を離散的なアクション空間から連続的なアクション空間に拡張します。
グリッド世界における値反復の修正バージョン、画像観測を伴うグリッド世界における Deep Q-Network (DQN)、および連続観測および連続アクションの Bullet 物理環境における Twin Delayed DDPG (TD3) を使用して、これらの手法を実証します。
私たちは、これらの貢献により、安全特性を満たすポリシーのゼロショット構成が可能になり、安全な強化学習の理論が前進すると考えています。

要約(オリジナル)

Compositionality is a critical aspect of scalable system design. Reinforcement learning (RL) has recently shown substantial success in task learning, but has only recently begun to truly leverage composition. In this paper, we focus on Boolean composition of learned tasks as opposed to functional or sequential composition. Existing Boolean composition for RL focuses on reaching a satisfying absorbing state in environments with discrete action spaces, but does not support composable safety (i.e., avoidance) constraints. We advance the state of the art in Boolean composition of learned tasks with three contributions: i) introduce two distinct notions of safety in this framework; ii) show how to enforce either safety semantics, prove correctness (under some assumptions), and analyze the trade-offs between the two safety notions; and iii) extend Boolean composition from discrete action spaces to continuous action spaces. We demonstrate these techniques using modified versions of value iteration in a grid world, Deep Q-Network (DQN) in a grid world with image observations, and Twin Delayed DDPG (TD3) in a continuous-observation and continuous-action Bullet physics environment. We believe that these contributions advance the theory of safe reinforcement learning by allowing zero-shot composition of policies satisfying safety properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google