Safety Optimized Reinforcement Learning via Multi-Objective Policy Optimization

要約

安全な強化学習 (Safe RL) は、試行錯誤中の意思決定と探索のプロセスにおいて、RL アルゴリズムが制約に違反することを防ぐことを目的とした一連の手法を指します。
この論文では、多目的ポリシー最適化フレームワークに基づいて定式化された新しいモデルフリーの Safe RL アルゴリズムが導入され、最適性と安全性を同時に目指してポリシーが最適化されます。
最適性は、安全性批評家を使用してその後形成される環境報酬関数によって達成されます。
従来の Safe RL アルゴリズムと比較した Safety Optimized RL (SORL) アルゴリズムの利点は、ポリシー検索スペースを制約する必要がないことです。
これにより、SORL は、厳密な検索スペースの制約によって安全性または最適性のいずれかの点でパフォーマンスを損なうことなく、安全性と最適性の間の自然なトレードオフを見つけることができます。
SORL の理論分析を通じて、安全性を保証するための SORL の収束ポリシーの条件を提案し、それを使用して前述のトレードオフの微調整を可能にする攻撃性パラメーターを導入します。
7 つの異なるロボット環境で得られた実験結果は、6 つの異なる最先端の Safe RL 手法と比較して、安全違反の数が大幅に減少し、より高い、または競争力のある政策利益をもたらしていることを示しています。
この結果は、安全性が重視されるアプリケーションにおいて、提案された SORL アルゴリズムが大幅に優れていることを示しています。

要約(オリジナル)

Safe reinforcement learning (Safe RL) refers to a class of techniques that aim to prevent RL algorithms from violating constraints in the process of decision-making and exploration during trial and error. In this paper, a novel model-free Safe RL algorithm, formulated based on the multi-objective policy optimization framework is introduced where the policy is optimized towards optimality and safety, simultaneously. The optimality is achieved by the environment reward function that is subsequently shaped using a safety critic. The advantage of the Safety Optimized RL (SORL) algorithm compared to the traditional Safe RL algorithms is that it omits the need to constrain the policy search space. This allows SORL to find a natural tradeoff between safety and optimality without compromising the performance in terms of either safety or optimality due to strict search space constraints. Through our theoretical analysis of SORL, we propose a condition for SORL’s converged policy to guarantee safety and then use it to introduce an aggressiveness parameter that allows for fine-tuning the mentioned tradeoff. The experimental results obtained in seven different robotic environments indicate a considerable reduction in the number of safety violations along with higher, or competitive, policy returns, in comparison to six different state-of-the-art Safe RL methods. The results demonstrate the significant superiority of the proposed SORL algorithm in safety-critical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google