An Autonomous Non-monolithic Agent with Multi-mode Exploration based on Options Framework

要約

タイトル：オプションフレームワークに基づく多モード探索を備えた自律非モノリシックエージェント

要約：

– 強化学習において、探索の研究は主に「どのように探索するか」、つまり「探索方法」に注目してきた。
– 一方、「いつ探索するか」という、非モノリシック探索における探索と活用のタイミングに焦点を当てた探索研究はメインストリームではなかった。
– 従来のRL探索動作では、単一の探索動作をエージェントの活用行動に束縛しているため、「いつ」探索を実行するかが問題になる。
– 最近、非モノリシックな探索行動のモード切り替えを人間や動物の行動において検討するための非モノリシックな探索研究が登場した。
– 当研究の目的は、エージェントが自律的に探索または活用を決定することを可能にすることである。
– 当初の研究として、オプションフレームワークに基づく自律的な非モノリシック行動の多モード探索を記述する。
– 比較的実験的な結果から、当研究の方法は、従来の非モノリシックな探索方法よりも高い性能を示している。

要約(オリジナル)

Most exploration research on reinforcement learning (RL) has paid attention to `the way of exploration’, which is `how to explore’. The other exploration research, `when to explore’, has not been the main focus of RL exploration research. The issue of `when’ of a monolithic exploration in the usual RL exploration behaviour binds an exploratory action to an exploitational action of an agent. Recently, a non-monolithic exploration research has emerged to examine the mode-switching exploration behaviour of humans and animals. The ultimate purpose of our research is to enable an agent to decide when to explore or exploit autonomously. We describe the initial research of an autonomous multi-mode exploration of non-monolithic behaviour in an options framework. The higher performance of our method is shown against the existing non-monolithic exploration method through comparative experimental results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI