Leveraging Jumpy Models for Planning and Fast Learning in Robotic Domains

要約

この論文では、ラベル付けされていない経験から多段階ダイナミクス予測モデル (ジャンピー モデル) を学習する問題と、ダウンストリーム タスクでの (高レベル) 計画の高速推論に対するそれらの有用性を研究します。
特に、ラベルや報酬の注釈を必要としない以前に収集された経験から、オフラインでスペースを埋め込むスキルと一緒にびくびくモデルを学習することを提案します。
次に、学習したコンポーネントをモデルベースの計画またはモデルフリーの強化学習 (RL) と組み合わせて活用し、ダウンストリーム タスクの学習を高速化するいくつかのオプションを調査します。
RGBスタッキング環境で一連の実験を行い、学習したスキルと関連するモデルを使用した計画により、新しいタスクへのゼロショット一般化が可能になり、強化学習を介してポリシーのトレーニングをさらに高速化できることを示しました.
これらの実験は、時間的抽象化を組み込んだ不安定なモデルが、標準的なダイナミクス モデルが失敗する長期的なタスクの計画を容易にすることを示しています。

要約(オリジナル)

In this paper we study the problem of learning multi-step dynamics prediction models (jumpy models) from unlabeled experience and their utility for fast inference of (high-level) plans in downstream tasks. In particular we propose to learn a jumpy model alongside a skill embedding space offline, from previously collected experience for which no labels or reward annotations are required. We then investigate several options of harnessing those learned components in combination with model-based planning or model-free reinforcement learning (RL) to speed up learning on downstream tasks. We conduct a set of experiments in the RGB-stacking environment, showing that planning with the learned skills and the associated model can enable zero-shot generalization to new tasks, and can further speed up training of policies via reinforcement learning. These experiments demonstrate that jumpy models which incorporate temporal abstraction can facilitate planning in long-horizon tasks in which standard dynamics models fail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google