Value-Penalized Auxiliary Control from Examples for Learning without Rewards or Demonstrations

要約

成功例から学習することは、強化学習の魅力的なアプローチであり、手作業で作成した報酬関数や完全なエキスパートによるデモの軌跡を使用することの欠点の多くを解消する。しかし、例からの学習だけでは、特に複雑なタスクの場合、探索の課題が劇的に増加する。本研究では、例からの価値ペナルティ付き補助制御(VPACE)を導入し、スケジュールされた補助制御と補助タスクの例を追加することで、例に基づく制御における探索を大幅に改善する。さらに、我々は、政策値の推定値が、成功データに基づく理論的限界を超える可能性がある、値較正問題を特定する。補助タスクの学習により悪化するこの問題を、成功レベル以上の値ペナルティを追加することで解決する。つのシミュレートされたロボット操作環境と1つの実際のロボット操作環境、そして21の異なる主タスクにおいて、我々のアプローチが学習効率を大幅に改善することを示す。動画、コード、データセットはhttps://papers.starslab.ca/vpace。

要約(オリジナル)

Learning from examples of success is an appealing approach to reinforcement learning that eliminates many of the disadvantages of using hand-crafted reward functions or full expert-demonstration trajectories, both of which can be difficult to acquire, biased, or suboptimal. However, learning from examples alone dramatically increases the exploration challenge, especially for complex tasks. This work introduces value-penalized auxiliary control from examples (VPACE); we significantly improve exploration in example-based control by adding scheduled auxiliary control and examples of auxiliary tasks. Furthermore, we identify a value-calibration problem, where policy value estimates can exceed their theoretical limits based on successful data. We resolve this problem, which is exacerbated by learning auxiliary tasks, through the addition of an above-success-level value penalty. Across three simulated and one real robotic manipulation environment, and 21 different main tasks, we show that our approach substantially improves learning efficiency. Videos, code, and datasets are available at https://papers.starslab.ca/vpace.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL