Model-Based Reinforcement Learning with Multi-Task Offline Pretraining

要約

オフライン データセットでの強化学習 (RL) モデルの事前トレーニングは、オンライン タスクでのトレーニング効率を向上させる有望な方法ですが、さまざまなタスクにわたるダイナミクスと動作に固有の不一致があるため、困難です。
潜在的に有用なダイナミクスとアクションのデモンストレーションをオフライン データから新しいタスクに転送する方法を学習するモデルベースの RL 手法を紹介します。
主なアイデアは、ワールド モデルを行動学習用のシミュレーターとしてだけでなく、ダイナミクス表現の伝達とポリシーの伝達の両方に対するタスクの関連性を測定するツールとしても使用することです。
時間変化するドメイン選択的な蒸留損失を構築して、オフラインとオンラインの類似性の重みのセットを生成します。
これらの重みは 2 つの目的に役立ちます。(i) ワールド モデルのトレーニングを容易にするために物理力学のタスクに依存しない知識を適応的に転送すること、および (ii) ターゲット ポリシーをガイドするために関連するソース アクションを再生する方法を学習することです。
Meta-World および DeepMind Control Suite の最先端の手法と比較して、私たちのアプローチの利点を示します。

要約(オリジナル)

Pretraining reinforcement learning (RL) models on offline datasets is a promising way to improve their training efficiency in online tasks, but challenging due to the inherent mismatch in dynamics and behaviors across various tasks. We present a model-based RL method that learns to transfer potentially useful dynamics and action demonstrations from offline data to a novel task. The main idea is to use the world models not only as simulators for behavior learning but also as tools to measure the task relevance for both dynamics representation transfer and policy transfer. We build a time-varying, domain-selective distillation loss to generate a set of offline-to-online similarity weights. These weights serve two purposes: (i) adaptively transferring the task-agnostic knowledge of physical dynamics to facilitate world model training, and (ii) learning to replay relevant source actions to guide the target policy. We demonstrate the advantages of our approach compared with the state-of-the-art methods in Meta-World and DeepMind Control Suite.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google