Prioritized offline Goal-swapping Experience Replay

要約

目標条件付きオフライン強化学習では、エージェントは以前に収集されたデータから学習して、任意の目標に到達します。
オフライン データには有限数の軌道しか含まれていないため、主な課題は、より多くのデータを生成する方法です。
目標交換は、軌道目標を切り替えることによって追加のデータを生成しますが、その間に多数の無効な軌道が生成されます。
この問題に対処するために、優先順位付けされたゴール交換エクスペリエンス リプレイ (PGSER) を提案します。
PGSER は、事前にトレーニングされた Q 関数を使用して、ゴールに到達できるゴール スワップ トランジションにより高い優先度の重みを割り当てます。
実験では、PGSER は、以前に失敗した器用な手操作タスクに挑戦するなど、幅広いベンチマーク タスクでベースラインを大幅に改善しました。

要約(オリジナル)

In goal-conditioned offline reinforcement learning, an agent learns from previously collected data to go to an arbitrary goal. Since the offline data only contains a finite number of trajectories, a main challenge is how to generate more data. Goal-swapping generates additional data by switching trajectory goals but while doing so produces a large number of invalid trajectories. To address this issue, we propose prioritized goal-swapping experience replay (PGSER). PGSER uses a pre-trained Q function to assign higher priority weights to goal swapped transitions that allow reaching the goal. In experiments, PGSER significantly improves over baselines in a wide range of benchmark tasks, including challenging previously unsuccessful dexterous in-hand manipulation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google