RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$

要約

RL$^2$ などのメタ強化学習 (meta-RL) 手法は、特定のタスク分布に合わせてデータ効率の高い RL アルゴリズムを学習するための有望なアプローチとして浮上しています。
ただし、これらの RL アルゴリズムは、一連の経験を価値関数などの一般的な RL コンポーネントに要約するのではなく、リカレント ニューラル ネットワークに依存して処理するため、長期タスクや分散タスクには苦労します。
さらに、変換器であっても、トレーニングと推論のコストが法外に高くなる前に、効率的に推論できる履歴の長さには実質的な制限があります。
対照的に、従来の RL アルゴリズムは、ドメインの知識を活用しないためデータ効率が低くなりますが、より多くのデータが利用可能になるにつれて、最適なポリシーに収束します。
この論文では、従来の RL を通じて学習したタスク固有のアクション値をメタ RL ニューラル ネットワークへの入力として組み込むことにより、従来の RL とメタ RL を組み合わせた原理に基づいたハイブリッド アプローチである RL$^3$ を提案します。
RL$^3$は、RL$^2$と比較して、長期的な分散タスクではより大きな累積報酬を獲得する一方、短期的には後者の効率を維持することを示します。
実験は、短期、長期、複雑な依存関係の範囲を示すメタ RL 文献からのカスタム ドメインとベンチマークの個別ドメインの両方で行われます。

要約(オリジナル)

Meta reinforcement learning (meta-RL) methods such as RL$^2$ have emerged as promising approaches for learning data-efficient RL algorithms tailored to a given task distribution. However, these RL algorithms struggle with long-horizon tasks and out-of-distribution tasks since they rely on recurrent neural networks to process the sequence of experiences instead of summarizing them into general RL components such as value functions. Moreover, even transformers have a practical limit to the length of histories they can efficiently reason about before training and inference costs become prohibitive. In contrast, traditional RL algorithms are data-inefficient since they do not leverage domain knowledge, but they do converge to an optimal policy as more data becomes available. In this paper, we propose RL$^3$, a principled hybrid approach that combines traditional RL and meta-RL by incorporating task-specific action-values learned through traditional RL as an input to the meta-RL neural network. We show that RL$^3$ earns greater cumulative reward on long-horizon and out-of-distribution tasks compared to RL$^2$, while maintaining the efficiency of the latter in the short term. Experiments are conducted on both custom and benchmark discrete domains from the meta-RL literature that exhibit a range of short-term, long-term, and complex dependencies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google