Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents

要約

強化学習 (RL) は、人工エージェントが多様な動作を学習できるようにする上で大きな進歩を遂げました。
ただし、効果的なポリシーを学習するには、多くの場合、環境との対話が必要になります。
サンプルの複雑さの問題を軽減するために、最近のアプローチでは、線形時相論理 (LTL$_f$) 式や報酬マシン (RM) などの高レベルのタスク仕様を使用して、エージェントの学習の進行をガイドしています。
この研究では、論理仕様ガイド付き動的タスク サンプリング (LSTS) と呼ばれる新しいアプローチを提案します。これは、一連の RL ポリシーを学習して、高レベルのタスク仕様に基づいてエージェントを初期状態から目標状態までガイドします。
環境との相互作用の数を最小限に抑えながら。
以前の研究とは異なり、LSTS は環境のダイナミクスや報酬マシンに関する情報を想定せず、目標ポリシーの成功につながる有望なタスクを動的にサンプリングします。
LSTS をグリッドワールド上で評価し、報酬マシン用の Q ラーニングなどの最先端の RM およびオートマトン誘導型 RL ベースラインと比較して、複雑な逐次的意思決定問題において閾値到達時間のパフォーマンスが向上していることを示します。
および論理仕様からの構成 RL (DIRL)。
さらに、部分的に観察可能なロボットタスクと連続制御ロボット操作タスクの両方において、サンプル効率の点で、私たちの方法がRMおよびオートマトン誘導RLベースラインよりも優れていることを実証します。

要約(オリジナル)

Reinforcement Learning (RL) has made significant strides in enabling artificial agents to learn diverse behaviors. However, learning an effective policy often requires a large number of environment interactions. To mitigate sample complexity issues, recent approaches have used high-level task specifications, such as Linear Temporal Logic (LTL$_f$) formulas or Reward Machines (RM), to guide the learning progress of the agent. In this work, we propose a novel approach, called Logical Specifications-guided Dynamic Task Sampling (LSTS), that learns a set of RL policies to guide an agent from an initial state to a goal state based on a high-level task specification, while minimizing the number of environmental interactions. Unlike previous work, LSTS does not assume information about the environment dynamics or the Reward Machine, and dynamically samples promising tasks that lead to successful goal policies. We evaluate LSTS on a gridworld and show that it achieves improved time-to-threshold performance on complex sequential decision-making problems compared to state-of-the-art RM and Automaton-guided RL baselines, such as Q-Learning for Reward Machines and Compositional RL from logical Specifications (DIRL). Moreover, we demonstrate that our method outperforms RM and Automaton-guided RL baselines in terms of sample-efficiency, both in a partially observable robotic task and in a continuous control robotic manipulation task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google