Creating Multi-Level Skill Hierarchies in Reinforcement Learning

要約

自律エージェントにとって有用なスキル階層は何ですか?
私たちは、エージェントとその環境の間の相互作用がどのように展開するかを示すグラフィック表現に基づいて答えを提案します。
私たちのアプローチでは、モジュール性の最大化を中心的な組織原則として使用し、複数の抽象化レベルでインタラクション グラフの構造を公開します。
その結果、さまざまな時間スケールで動作するスキルのコレクションが階層に編成され、より長い時間スケールで動作するスキルがより短い時間スケールで動作するスキルで構成されます。
スキル階層全体は、スキル自体 (スキルの動作、いつ呼び出せるか、いつ終了するか) とスキル間の階層依存構造を含め、人間の介入なしで自動的に生成されます。
このアプローチは、幅広い環境において、直感的に魅力的でエージェントの学習パフォーマンスを大幅に向上させるスキル階層を生成します。

要約(オリジナル)

What is a useful skill hierarchy for an autonomous agent? We propose an answer based on a graphical representation of how the interaction between an agent and its environment may unfold. Our approach uses modularity maximisation as a central organising principle to expose the structure of the interaction graph at multiple levels of abstraction. The result is a collection of skills that operate at varying time scales, organised into a hierarchy, where skills that operate over longer time scales are composed of skills that operate over shorter time scales. The entire skill hierarchy is generated automatically, with no human intervention, including the skills themselves (their behaviour, when they can be called, and when they terminate) as well as the hierarchical dependency structure between them. In a wide range of environments, this approach generates skill hierarchies that are intuitively appealing and that considerably improve the learning performance of the agent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google