A Provable Approach for End-to-End Safe Reinforcement Learning

要約

安全な補強学習（RL）における長年の目標は、学習から運用まで、プロセス全体を通してポリシーの安全性を確保する方法です。
ただし、既存の安全なRLパラダイムは本質的にこの目的を達成するのに苦労しています。
この課題に対処するためにオフラインセーフRLと安全なポリシー展開を統合する、実証的にLifetime Safe RL（PLS）と呼ばれる方法を提案します。
提案された方法は、返品条件付きの監視された学習を使用してオフラインでポリシーを学習し、結果として得られるポリシーを展開しながら、ガウスプロセス（GPS）を使用して、ターゲットリターンと呼ばれる限られたパラメーターセットを慎重に最適化します。
理論的には、ターゲットと実際のリターンの間の数学的関係を分析することにより、GPSの使用を正当化します。
次に、PLSは、高い確率で安全性を保証しながら、最適に近いターゲットリターンを見つけることを証明します。
経験的には、PLSは安全性と報酬パフォーマンスの両方でベースラインを上回ることを実証し、それにより、生涯を通じて学習から運用までのポリシーの安全性を確保しながら、高い報酬を得るという長年の目標を達成します。

要約(オリジナル)

A longstanding goal in safe reinforcement learning (RL) is a method to ensure the safety of a policy throughout the entire process, from learning to operation. However, existing safe RL paradigms inherently struggle to achieve this objective. We propose a method, called Provably Lifetime Safe RL (PLS), that integrates offline safe RL with safe policy deployment to address this challenge. Our proposed method learns a policy offline using return-conditioned supervised learning and then deploys the resulting policy while cautiously optimizing a limited set of parameters, known as target returns, using Gaussian processes (GPs). Theoretically, we justify the use of GPs by analyzing the mathematical relationship between target and actual returns. We then prove that PLS finds near-optimal target returns while guaranteeing safety with high probability. Empirically, we demonstrate that PLS outperforms baselines both in safety and reward performance, thereby achieving the longstanding goal to obtain high rewards while ensuring the safety of a policy throughout the lifetime from learning to operation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google