Creating Multi-Level Skill Hierarchies in Reinforcement Learning

要約

自律エージェントにとって有用なスキル階層は何ですか?
私たちは、エージェントとその環境との相互作用のグラフィック構造に基づいて答えを提案します。
私たちのアプローチでは、階層的なグラフ分割を使用してさまざまなタイムスケールでグラフの構造を公開し、複数の抽象化レベルを持つスキル階層を生成します。
階層の各レベルで、スキルは、内部ではよく接続されているが相互には弱く接続されている状態空間の領域間でエージェントを移動させます。
強化学習のコンテキストで、さまざまな領域における提案されたスキル階層の有用性を説明します。

要約(オリジナル)

What is a useful skill hierarchy for an autonomous agent? We propose an answer based on the graphical structure of an agent’s interaction with its environment. Our approach uses hierarchical graph partitioning to expose the structure of the graph at varying timescales, producing a skill hierarchy with multiple levels of abstraction. At each level of the hierarchy, skills move the agent between regions of the state space that are well connected within themselves but weakly connected to each other. We illustrate the utility of the proposed skill hierarchy in a wide variety of domains in the context of reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google