Peer Learning: Learning Complex Policies in Groups from Scratch via Action Recommendations

要約

ピアラーニングは、グループで学習するエージェントのための新しい高レベルの強化学習フレームワークです。
標準的な強化学習は、個々のエージェントを試行錯誤形式ですべて単独でトレーニングしますが、ピア学習は、エージェントのグループ、つまりピアがゼロから同時にタスクをマスターすることを学習する関連設定に対処します。
ピアは、自分の状態と、他の人が推奨する「私の状況ではどうしますか?」という行動についてのみ通信できます。
私たちの動機は、これらのエージェントの学習行動を研究することです。
私たちは、行動アドバイス設定における教師の選択プロセスを複数の武器を持った盗賊の問題として形式化し、したがって探索の必要性を強調します。
最終的に、私たちは同僚の学習行動を分析し、研究グループ内でエージェントのパフォーマンスをランク付けする能力を観察し、どのエージェントが信頼できるアドバイスを提供しているかを理解します。
さらに、ピア学習とシングルエージェント学習および最先端のアクションアドバイスベースラインを比較します。
私たちは、いくつかの困難な離散および連続 OpenAI Gym ドメインにおいて、ピア学習がシングルエージェント学習およびベースラインを上回るパフォーマンスを発揮できることを示します。
そうすることで、そのような枠組みの中で、個別の行動空間を超えた行動推奨からの複雑な政策が進化する可能性があることも示します。

要約(オリジナル)

Peer learning is a novel high-level reinforcement learning framework for agents learning in groups. While standard reinforcement learning trains an individual agent in trial-and-error fashion, all on its own, peer learning addresses a related setting in which a group of agents, i.e., peers, learns to master a task simultaneously together from scratch. Peers are allowed to communicate only about their own states and actions recommended by others: ‘What would you do in my situation?’. Our motivation is to study the learning behavior of these agents. We formalize the teacher selection process in the action advice setting as a multi-armed bandit problem and therefore highlight the need for exploration. Eventually, we analyze the learning behavior of the peers and observe their ability to rank the agents’ performance within the study group and understand which agents give reliable advice. Further, we compare peer learning with single agent learning and a state-of-the-art action advice baseline. We show that peer learning is able to outperform single-agent learning and the baseline in several challenging discrete and continuous OpenAI Gym domains. Doing so, we also show that within such a framework complex policies from action recommendations beyond discrete action spaces can evolve.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google