Exploiting Unlabeled Data for Feedback Efficient Human Preference based Reinforcement Learning

要約

Preference Based Reinforcement Learning は、照会された軌道ペアに対するヒューマン バイナリ フィードバックを利用して、Human in the Loop (HiL) の基礎となる報酬モデルを回復するための多くの可能性を示しています。
人間に対して行われたクエリをより有効に活用しようとする研究が行われましたが、この研究では、エージェントによって収集されたラベルのない軌跡について 2 つの観察を行い、ラベルのない軌跡が報酬学習プロセスに確実に参加するようにする 2 つの対応する損失関数を提案します。
アクション距離に関する状態空間の構造を反映するように、報酬モデルの空間を埋め込みます。
1 つの移動ドメインと 1 つのロボット操作タスクで提案された方法を検証し、最先端のベースライン PEBBLE と比較します。
さらに、両方のドメインで提案された損失コンポーネントの除去を提示し、各損失コンポーネントのパフォーマンスがベースラインよりも優れているだけでなく、2 つの相乗的な組み合わせにより、報酬の回収と人間のフィードバック サンプルの効率が大幅に向上することがわかりました。

要約(オリジナル)

Preference Based Reinforcement Learning has shown much promise for utilizing human binary feedback on queried trajectory pairs to recover the underlying reward model of the Human in the Loop (HiL). While works have attempted to better utilize the queries made to the human, in this work we make two observations about the unlabeled trajectories collected by the agent and propose two corresponding loss functions that ensure participation of unlabeled trajectories in the reward learning process, and structure the embedding space of the reward model such that it reflects the structure of state space with respect to action distances. We validate the proposed method on one locomotion domain and one robotic manipulation task and compare with the state-of-the-art baseline PEBBLE. We further present an ablation of the proposed loss components across both the domains and find that not only each of the loss components perform better than the baseline, but the synergic combination of the two has much better reward recovery and human feedback sample efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google