Boosting Reinforcement Learning and Planning with Demonstrations: A Survey

要約

強化学習は最近大きな成功を収めていますが、この種の試行錯誤学習は、複雑な環境では非現実的または非効率的です。
一方、デモンストレーションを使用すると、エージェントは探索を通じて実行する最適なアクションを発見する必要がなくなり、専門知識から恩恵を受けることができます。
この調査では、シーケンシャルな意思決定でデモンストレーションを使用する利点、学習ベースの意思決定パラダイムでデモンストレーションを適用するさまざまな方法 (たとえば、学習モデルでの強化学習と計画)、およびさまざまな方法でデモンストレーションを収集する方法について説明します。
シナリオ。
さらに、最近提案された ManiSkill ロボット学習ベンチマークでデモンストレーションを生成および利用するための実用的なパイプラインを例示します。

要約(オリジナル)

Although reinforcement learning has seen tremendous success recently, this kind of trial-and-error learning can be impractical or inefficient in complex environments. The use of demonstrations, on the other hand, enables agents to benefit from expert knowledge rather than having to discover the best action to take through exploration. In this survey, we discuss the advantages of using demonstrations in sequential decision making, various ways to apply demonstrations in learning-based decision making paradigms (for example, reinforcement learning and planning in the learned models), and how to collect the demonstrations in various scenarios. Additionally, we exemplify a practical pipeline for generating and utilizing demonstrations in the recently proposed ManiSkill robot learning benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google