Environment Design for Inverse Reinforcement Learning

要約

デモンストレーションから報酬関数を学習すると、サンプル効率が低くなります。
たとえ豊富なデータがあっても、単一環境からの学習に重点を置いた現在の逆強化学習手法では、環境ダイナミクスのわずかな変化に対応できない可能性があります。
私たちは適応環境設計を通じてこれらの課題に取り組みます。
私たちのフレームワークでは、学習者は繰り返し専門家と対話し、前者は環境を選択して、その環境での専門家のデモンストレーションからできるだけ早く報酬関数を特定します。
これにより、実験的に示されているように、正確な推論と近似推論の両方でサンプル効率とロバスト性の両方が向上します。

要約(オリジナル)

Learning a reward function from demonstrations suffers from low sample-efficiency. Even with abundant data, current inverse reinforcement learning methods that focus on learning from a single environment can fail to handle slight changes in the environment dynamics. We tackle these challenges through adaptive environment design. In our framework, the learner repeatedly interacts with the expert, with the former selecting environments to identify the reward function as quickly as possible from the expert’s demonstrations in said environments. This results in improvements in both sample-efficiency and robustness, as we show experimentally, for both exact and approximate inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google