Proto Successor Measure: Representing the Behavior Space of an RL Agent

要約

環境を探求したので、インテリジェントエージェントは、追加の相互作用なしに、その環境内のほとんどのダウンストリームタスクに知識を転送できるはずです。
「ゼロショット学習」と呼ばれるこの能力は、汎用補強学習アルゴリズムにはとらえどころのないままです。
最近の作品はゼロショットRLエージェントを生産しようとしましたが、タスクの性質やMDPの構造について仮定しています。
Proto後継者の尺度：動的システムにおける強化学習エージェントのすべての可能な行動の基礎セットを提示します。
これらのポリシーに依存しない基底関数のアフィンの組み合わせを使用して、可能な行動（訪問分布を使用して表される）を表現できることを証明します。
テスト時に報酬機能を考えると、最適なポリシーに対応するこれらのベースを組み合わせるために、正しい線形重みのセットを見つける必要があります。
実用的なアルゴリズムを導き出して、環境からの報酬のない相互作用データを使用してこれらの基底関数を学習し、環境との追加のない報酬機能のテスト時に最適なポリシーを生成できることを示します。
プロジェクトページ：https：//agarwalsiddhant10.github.io/projects/psm.html。

要約(オリジナル)

Having explored an environment, intelligent agents should be able to transfer their knowledge to most downstream tasks within that environment without additional interactions. Referred to as ‘zero-shot learning’, this ability remains elusive for general-purpose reinforcement learning algorithms. While recent works have attempted to produce zero-shot RL agents, they make assumptions about the nature of the tasks or the structure of the MDP. We present Proto Successor Measure: the basis set for all possible behaviors of a Reinforcement Learning Agent in a dynamical system. We prove that any possible behavior (represented using visitation distributions) can be represented using an affine combination of these policy-independent basis functions. Given a reward function at test time, we simply need to find the right set of linear weights to combine these bases corresponding to the optimal policy. We derive a practical algorithm to learn these basis functions using reward-free interaction data from the environment and show that our approach can produce the optimal policy at test time for any given reward function without additional environmental interactions. Project page: https://agarwalsiddhant10.github.io/projects/psm.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google