Open the Black Box: Step-based Policy Updates for Temporally-Correlated Episodic Reinforcement Learning

要約

強化学習 (RL) の現在の進歩は、主に、認識された状態ごとにアクションを生成する学習ステップベースのポリシーに焦点を当てています。
これらの方法は、環境相互作用から得られるステップ情報を効率的に利用しますが、多くの場合、アクション間の時間的な相関関係が無視されるため、非効率的な探索と滑らかでない軌跡が生じ、実際のハードウェアで実装するのは困難です。
エピソード RL (ERL) は、アクションの相関関係を捉えるパラメーター空間を探索することで、これらの課題を克服しようとします。
ただし、これらのアプローチは軌跡を不透明な \emph{ブラック ボックス} として扱うため、通常はデータ効率を損ないます。
この研究では、新しい ERL アルゴリズムである時間相関エピソード RL (TCE) を導入します。これは、エピソード的なポリシー更新でステップ情報を効果的に利用し、パラメータ空間でのスムーズで一貫した探索を維持しながら、既存の ERL 手法の「ブラック ボックス」を開きます。
。
TCE は、ステップベースとエピソードベースの RL の利点を相乗的に組み合わせ、最新の (SoTA) ステップベースの RL と同様のデータ効率を維持しながら、最近の ERL 手法と同等のパフォーマンスを実現します。

要約(オリジナル)

Current advancements in reinforcement learning (RL) have predominantly focused on learning step-based policies that generate actions for each perceived state. While these methods efficiently leverage step information from environmental interaction, they often ignore the temporal correlation between actions, resulting in inefficient exploration and unsmooth trajectories that are challenging to implement on real hardware. Episodic RL (ERL) seeks to overcome these challenges by exploring in parameters space that capture the correlation of actions. However, these approaches typically compromise data efficiency, as they treat trajectories as opaque \emph{black boxes}. In this work, we introduce a novel ERL algorithm, Temporally-Correlated Episodic RL (TCE), which effectively utilizes step information in episodic policy updates, opening the ‘black box’ in existing ERL methods while retaining the smooth and consistent exploration in parameter space. TCE synergistically combines the advantages of step-based and episodic RL, achieving comparable performance to recent ERL methods while maintaining data efficiency akin to state-of-the-art (SoTA) step-based RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google