Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback

要約

探索と報酬の仕様は、強化学習にとって基本的かつ絡み合った課題です。
広範囲にわたる探索を必要とする連続的な意思決定タスクを解決するには、報酬関数を慎重に設計するか、新規性を求める探索ボーナスを使用する必要があります。
人間のスーパーバイザーはループ内で効果的なガイダンスを提供して探索プロセスを指示できますが、このガイダンスを活用する従来の方法では、人間による継続的な同期の高品質なフィードバックが必要であり、コストがかかり、入手するのが非現実的です。
この研究では、ヒューマン ガイド付き探索 (HuGE) と呼ばれる手法を紹介します。この手法では、専門家ではないユーザーからの、散発的、非同期的、ノイズの多い低品質のフィードバックが使用されます。
HuGE は、シミュレーションだけでなく現実世界でも、綿密な報酬の指定なしで強化学習の探索をガイドします。
重要な概念には、人間によるフィードバックとポリシー学習の分岐が含まれます。つまり、人間によるフィードバックが探査を方向付ける一方で、探査データからの自己教師あり学習により偏りのないポリシーが得られます。
この手順では、ノイズの多い非同期の人間によるフィードバックを利用して、手作りの報酬設計や探索ボーナスを使用せずにポリシーを学習できます。
HuGE は、専門家以外のユーザーからのクラウドソーシングによるフィードバックを使用して、さまざまな困難な多段階ロボット ナビゲーションと操作タスクをシミュレーションで学習できます。
さらに、このパラダイムは、人間のスーパーバイザーから時折非同期フィードバックを使用して、現実世界のロボット上で直接学習するように拡張できます。

要約(オリジナル)

Exploration and reward specification are fundamental and intertwined challenges for reinforcement learning. Solving sequential decision-making tasks requiring expansive exploration requires either careful design of reward functions or the use of novelty-seeking exploration bonuses. Human supervisors can provide effective guidance in the loop to direct the exploration process, but prior methods to leverage this guidance require constant synchronous high-quality human feedback, which is expensive and impractical to obtain. In this work, we present a technique called Human Guided Exploration (HuGE), which uses low-quality feedback from non-expert users that may be sporadic, asynchronous, and noisy. HuGE guides exploration for reinforcement learning not only in simulation but also in the real world, all without meticulous reward specification. The key concept involves bifurcating human feedback and policy learning: human feedback steers exploration, while self-supervised learning from the exploration data yields unbiased policies. This procedure can leverage noisy, asynchronous human feedback to learn policies with no hand-crafted reward design or exploration bonuses. HuGE is able to learn a variety of challenging multi-stage robotic navigation and manipulation tasks in simulation using crowdsourced feedback from non-expert users. Moreover, this paradigm can be scaled to learning directly on real-world robots, using occasional, asynchronous feedback from human supervisors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google