Hierarchical Reinforcement Learning in Complex 3D Environments

要約

階層強化学習 (HRL) エージェントには、抽象化、転送、およびスキルの再利用による計画と探索などの魅力的な機能を示す可能性があります。
さまざまなドメインでの HRL の最近の成功は、既存のエージェントがまだ HRL の可能性を十分に認識していなくても、実用的で効果的な HRL エージェントが可能であることを示しています。
これらの成功にもかかわらず、視覚的に複雑な部分的に観察可能な 3D 環境は、HRL エージェントにとって依然として課題でした。
この問題は、独自の経験を使用してゼロからオプションを発見し、使用することを学習する階層型の深層強化学習エージェントである Hierarchical Hybrid Offline-Online (H2O2) で対処します。
H2O2 は、DeepMind のハード エイト タスクにおいて強力な非階層型 Muesli ベースラインと競合することを示し、複雑な環境で階層型エージェントを学習する問題に新たな光を当てます。
H2O2 に関する私たちの実証的研究は、これまで気づかれていなかった実際的な課題を明らかにし、複雑なドメインにおける階層的エージェントの現在の理解に新しい視点をもたらします。

要約(オリジナル)

Hierarchical Reinforcement Learning (HRL) agents have the potential to demonstrate appealing capabilities such as planning and exploration with abstraction, transfer, and skill reuse. Recent successes with HRL across different domains provide evidence that practical, effective HRL agents are possible, even if existing agents do not yet fully realize the potential of HRL. Despite these successes, visually complex partially observable 3D environments remained a challenge for HRL agents. We address this issue with Hierarchical Hybrid Offline-Online (H2O2), a hierarchical deep reinforcement learning agent that discovers and learns to use options from scratch using its own experience. We show that H2O2 is competitive with a strong non-hierarchical Muesli baseline in the DeepMind Hard Eight tasks and we shed new light on the problem of learning hierarchical agents in complex environments. Our empirical study of H2O2 reveals previously unnoticed practical challenges and brings new perspective to the current understanding of hierarchical agents in complex domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google