BC-IRL: Learning Generalizable Reward Functions from Demonstrations

要約

逆強化学習 (IRL) で学習した報酬関数はどの程度一般化されているか?
最大エントロピー目標を最大化する最先端の IRL アルゴリズムが、デモンストレーションに過適合する報酬を学習することを示します。
このような報酬は、デモンストレーションでカバーされていない州に意味のある報酬を提供するのに苦労しています。これは、報酬を使用して新しい状況でポリシーを学習する場合の大きな欠点です。
最大エントロピー IRL アプローチと比較して、より一般化する報酬関数を学習する新しい逆強化学習法である BC-IRL を紹介します。
デモンストレーションで報酬を最大化することを学習する MaxEnt フレームワークとは対照的に、BC-IRL は、新しい報酬でトレーニングされたポリシーがエキスパートのデモンストレーションによりよく一致するように報酬パラメーターを更新します。
BC-IRL は、実例となる単純なタスクと 2 つの連続的なロボット制御タスクでより一般化する報酬を学習し、困難な一般化設定でベースラインの 2 倍以上の成功率を達成することを示します。

要約(オリジナル)

How well do reward functions learned with inverse reinforcement learning (IRL) generalize? We illustrate that state-of-the-art IRL algorithms, which maximize a maximum-entropy objective, learn rewards that overfit to the demonstrations. Such rewards struggle to provide meaningful rewards for states not covered by the demonstrations, a major detriment when using the reward to learn policies in new situations. We introduce BC-IRL a new inverse reinforcement learning method that learns reward functions that generalize better when compared to maximum-entropy IRL approaches. In contrast to the MaxEnt framework, which learns to maximize rewards around demonstrations, BC-IRL updates reward parameters such that the policy trained with the new reward matches the expert demonstrations better. We show that BC-IRL learns rewards that generalize better on an illustrative simple task and two continuous robotic control tasks, achieving over twice the success rate of baselines in challenging generalization settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google