Enhancing Reinforcement Learning Agents with Local Guides

要約

このペーパーでは、ローカル ガイド ポリシーを強化学習エージェントに統合する問題について説明します。
このため、ノイズの多いポリシー切り替え手順に基づく新しいアルゴリズムを導入する前に、既存のアルゴリズムをこの設定に適応させる方法を示します。
このアプローチは、適切な近似政策評価 (APE) スキームに基づいて構築されており、地元のガイドをより良い行動に向けて慎重に導く摂動を提供します。
私たちは、壊滅的な結果を引き起こすリスクがある一部の領域にエージェントが立ち入ることができない安全性が重要なシステムを含む、一連の古典的な強化学習問題でこの手法を評価しました。
提案されたすべての環境において、私たちのエージェントはこれらのポリシーを効率的に活用して、APE ベースの強化学習アルゴリズムのパフォーマンスを、特に最初の学習段階で向上させることが証明されました。

要約(オリジナル)

This paper addresses the problem of integrating local guide policies into a Reinforcement Learning agent. For this, we show how to adapt existing algorithms to this setting before introducing a novel algorithm based on a noisy policy-switching procedure. This approach builds on a proper Approximate Policy Evaluation (APE) scheme to provide a perturbation that carefully leads the local guides towards better actions. We evaluated our method on a set of classical Reinforcement Learning problems, including safety-critical systems where the agent cannot enter some areas at the risk of triggering catastrophic consequences. In all the proposed environments, our agent proved to be efficient at leveraging those policies to improve the performance of any APE-based Reinforcement Learning algorithm, especially in its first learning stages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google