Offline Multitask Representation Learning for Reinforcement Learning

要約

私たちは、強化学習 (RL) におけるオフライン マルチタスク表現学習を研究します。この学習では、学習者には、共通の表現を共有するさまざまなタスクからのオフライン データセットが提供され、その共有表現を学習するように求められます。
私たちはオフラインマルチタスクの低ランクRLを理論的に研究し、オフラインマルチタスク表現学習のためのMORLと呼ばれる新しいアルゴリズムを提案します。
さらに、上流のオフライン タスクと同じ表現を共有する新しいタスクがエージェントに導入される、報酬なしのオフラインおよびオンラインのシナリオで下流の RL を調べます。
私たちの理論的結果は、低ランク モデルの表現を直接学習する代わりに、上流のオフライン タスクから学習した表現を使用する利点を示しています。

要約(オリジナル)

We study offline multitask representation learning in reinforcement learning (RL), where a learner is provided with an offline dataset from different tasks that share a common representation and is asked to learn the shared representation. We theoretically investigate offline multitask low-rank RL, and propose a new algorithm called MORL for offline multitask representation learning. Furthermore, we examine downstream RL in reward-free, offline and online scenarios, where a new task is introduced to the agent that shares the same representation as the upstream offline tasks. Our theoretical results demonstrate the benefits of using the learned representation from the upstream offline task instead of directly learning the representation of the low-rank model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google