Inversely Learning Transferable Rewards via Abstracted States

要約

逆強化学習(IRL)は、行動データから離散領域と連続領域の両方で基礎となる報酬を正確に学習するために大きく進歩してきた。次の進歩は、異なるが観察されたものと一致する設定やタスクで有用な行動を生成する方法で{em intrinsic}嗜好を学習することである。ロボットアプリケーションの文脈では、これは、ゼロからプログラミングすることなく、（共有された本質的嗜好を持つ）新しいタスクを含む処理ラインにロボットを統合するのに役立つ。我々は、あるドメインの2つ以上の異なるインスタンスにおける行動軌跡から、抽象的な報酬関数を逆学習する方法を紹介する。次に、この抽象的報酬関数を用いて、ドメインの別のインスタンスにおけるタスク行動を学習する。このステップにより、この手法の移植性が証明され、その正しさが検証される。我々は、OpenAIのGymテストベッドとAssistiveGymにおいて、複数のドメインのタスクの軌跡でこの方法を評価し、学習された抽象的報酬関数が、それぞれのドメインのインスタンスにおいて、これまで見られなかったタスク行動をうまく学習できることを示す。

要約(オリジナル)

Inverse reinforcement learning (IRL) has progressed significantly toward accurately learning the underlying rewards in both discrete and continuous domains from behavior data. The next advance is to learn {\em intrinsic} preferences in ways that produce useful behavior in settings or tasks which are different but aligned with the observed ones. In the context of robotic applications, this helps integrate robots into processing lines involving new tasks (with shared intrinsic preferences) without programming from scratch. We introduce a method to inversely learn an abstract reward function from behavior trajectories in two or more differing instances of a domain. The abstract reward function is then used to learn task behavior in another separate instance of the domain. This step offers evidence of its transferability and validates its correctness. We evaluate the method on trajectories in tasks from multiple domains in OpenAI’s Gym testbed and AssistiveGym and show that the learned abstract reward functions can successfully learn task behaviors in instances of the respective domains, which have not been seen previously.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL