Conditioning Hierarchical Reinforcement Learning on Flexible Constraints

要約

目標指向の強化学習 (RL) 設定での安全性は、通常、軌道に対する制約によって処理され、主に短期間のタスク (目標はそれほど遠くない) で優れたパフォーマンスを発揮しました。
この論文では、時間的に拡張された意思決定の問題を解決する問題に特に関心があります。たとえば、（1）家の中のさまざまなエリアを掃除し、滑りやすく危険なエリア（階段など）を避け、移動するのに十分な電荷を保持しなければならないロボット。
充電ドックへ。
(2) 途中で充電場所を最適化する必要がある一方で、遠く離れた目的地に到達する必要がある自律型電気自動車。
複雑な安全上の制約がある場合。
私たちの主な貢献は、高レベルの制約付き計画エージェントを組み合わせた (安全) 強化学習による制約付き計画 (CoP-RL) メカニズムです (コスト制約を満たしながら、与えられた開始点から遠く離れた目標状態までの報酬を最大化する経路を計算します)。
低レベルの目標条件付き RL エージェント (近くの状態間を移動するためのコストと報酬の値を推定します) を使用します。
CoP-RL の主な利点は、コスト値の分布に関する制約 (たとえば、Conditional Value at Risk、CVaR、および期待値) を処理できることです。
さまざまなタイプの安全制約を使用して広範な実験を実行し、制約付きの階層的 RL における主要な最良のアプローチに対するアプローチの有用性を実証します。

要約(オリジナル)

Safety in goal directed Reinforcement Learning (RL) settings has typically been handled through constraints over trajectories and have demonstrated good performance in primarily short horizon tasks (goal is not too far away). In this paper, we are specifically interested in the problem of solving temporally extended decision making problems such as (1) robots that have to clean different areas in a house while avoiding slippery and unsafe areas (e.g., stairs) and retaining enough charge to move to a charging dock; (2) autonomous electric vehicles that have to reach a far away destination while having to optimize charging locations along the way; in the presence of complex safety constraints. Our key contribution is a (safety) Constrained Planning with Reinforcement Learning (CoP-RL) mechanism that combines a high-level constrained planning agent (which computes a reward maximizing path from a given start to a far away goal state while satisfying cost constraints) with a low-level goal conditioned RL agent (which estimates cost and reward values to move between nearby states). A major advantage of CoP-RL is that it can handle constraints on the cost value distribution (e.g., on Conditional Value at Risk, CVaR, and also on expected value). We perform extensive experiments with different types of safety constraints to demonstrate the utility of our approach over leading best approaches in constrained and hierarchical RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google