Marvel: Accelerating Safe Online Reinforcement Learning with Finetuned Offline Policy

要約

広範な環境との相互作用に伴う高いコストとリスクにより、現在のオンラインで安全な強化学習 (RL) 手法の実用化が妨げられています。
オフライン セーフ RL は静的データセットからポリシーを学習することでこの問題に対処しますが、データ品質への依存と配布外 (OOD) アクションの課題により、パフォーマンスは通常制限されます。
オフラインからオンラインへの (O2O) RL の最近の成功に触発され、オフラインで安全な RL を活用して、より迅速かつ安全なオンライン ポリシー学習を促進できるかどうかを検討することが重要ですが、その方向性はまだ十分に検討されていません。
このギャップを埋めるために、標準 RL から既存の O2O アルゴリズムを単純に適用することは、オフラインとオンラインの目的の不一致とオフラインから生じる \emph{誤った Q 推定値} という 2 つの固有の課題により、安全な RL 設定ではうまく機能しないことを最初に示します。
コストの希薄性と \emph{ラグランジュの不一致} は、オフライン ポリシーとオンライン ポリシーの間でラグランジュ乗数を調整する際の困難から生じました。
これらの課題に対処するために、O2O セーフ RL の新しいフレームワークである \textbf{Marvel} を導入します。これは、連携して機能する 2 つの主要なコンポーネントで構成されます: \emph{Value Pre-Alignment} は、オンラインになる前に Q 関数を根底にある真実と一致させます。
オンライン微調整中にラグランジュ乗数を効果的に調整する \emph{適応 PID 制御}。
広範な実験により、マーベルは報酬の最大化と安全制約の満足度の両方において既存のベースラインを大幅に上回っていることが実証されました。
多くのオフラインおよびオンラインの安全な RL 手法と互換性のある、O2O の安全な RL のための最初のポリシー微調整ベースのフレームワークを導入することにより、私たちの取り組みは、より効率的で実用的な安全な RL ソリューションに向けてこの分野を前進させる大きな可能性を秘めています。

要約(オリジナル)

The high costs and risks involved in extensive environment interactions hinder the practical application of current online safe reinforcement learning (RL) methods. While offline safe RL addresses this by learning policies from static datasets, the performance therein is usually limited due to reliance on data quality and challenges with out-of-distribution (OOD) actions. Inspired by recent successes in offline-to-online (O2O) RL, it is crucial to explore whether offline safe RL can be leveraged to facilitate faster and safer online policy learning, a direction that has yet to be fully investigated. To fill this gap, we first demonstrate that naively applying existing O2O algorithms from standard RL would not work well in the safe RL setting due to two unique challenges: \emph{erroneous Q-estimations}, resulted from offline-online objective mismatch and offline cost sparsity, and \emph{Lagrangian mismatch}, resulted from difficulties in aligning Lagrange multipliers between offline and online policies. To address these challenges, we introduce \textbf{Marvel}, a novel framework for O2O safe RL, comprising two key components that work in concert: \emph{Value Pre-Alignment} to align the Q-functions with the underlying truth before online learning, and \emph{Adaptive PID Control} to effectively adjust the Lagrange multipliers during online finetuning. Extensive experiments demonstrate that Marvel significantly outperforms existing baselines in both reward maximization and safety constraint satisfaction. By introducing the first policy-finetuning based framework for O2O safe RL, which is compatible with many offline and online safe RL methods, our work has the great potential to advance the field towards more efficient and practical safe RL solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google