Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents

要約

強化学習(RL)は、人工エージェントが多様な行動を学習できるようにする上で大きな進歩を遂げた。しかし、効果的なポリシーの学習には、多くの環境との相互作用が必要になることが多い。サンプルの複雑さの問題を軽減するために、最近のアプローチでは、線形時間論理(LTL$_f$)式や報酬機械(RM)のような高レベルのタスク仕様を用いて、エージェントの学習進捗を導いている。本研究では、環境との相互作用の回数を最小化しつつ、高レベルのタスク仕様に基づき、エージェントを初期状態からゴール状態へ導くためのRLポリシーの集合を学習する、論理仕様ガイド付き動的タスクサンプリング(LSTS)と呼ばれる新しいアプローチを提案する。従来の研究とは異なり、LSTSは環境ダイナミクスや報酬マシンに関する情報を仮定せず、ゴールポリシーを成功に導く有望なタスクを動的にサンプリングする。我々はグリッドワールド上でLSTSを評価し、複雑な逐次的意思決定問題において、報酬機械のためのQ-Learningや論理的仕様からの構成的RL（DIRL）のような最新のRMやオートマトンガイドRLベースラインと比較して、時間-閾値性能の改善を達成することを示す。さらに、部分的に観測可能なロボットタスクと連続制御のロボット操作タスクの両方において、サンプル効率の点で我々の手法がRMとオートマトンガイドRLベースラインを上回ることを実証する。

要約(オリジナル)

Reinforcement Learning (RL) has made significant strides in enabling artificial agents to learn diverse behaviors. However, learning an effective policy often requires a large number of environment interactions. To mitigate sample complexity issues, recent approaches have used high-level task specifications, such as Linear Temporal Logic (LTL$_f$) formulas or Reward Machines (RM), to guide the learning progress of the agent. In this work, we propose a novel approach, called Logical Specifications-guided Dynamic Task Sampling (LSTS), that learns a set of RL policies to guide an agent from an initial state to a goal state based on a high-level task specification, while minimizing the number of environmental interactions. Unlike previous work, LSTS does not assume information about the environment dynamics or the Reward Machine, and dynamically samples promising tasks that lead to successful goal policies. We evaluate LSTS on a gridworld and show that it achieves improved time-to-threshold performance on complex sequential decision-making problems compared to state-of-the-art RM and Automaton-guided RL baselines, such as Q-Learning for Reward Machines and Compositional RL from logical Specifications (DIRL). Moreover, we demonstrate that our method outperforms RM and Automaton-guided RL baselines in terms of sample-efficiency, both in a partially observable robotic task and in a continuous control robotic manipulation task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL