Causal Coordinated Concurrent Reinforcement Learning

要約

この研究では、同時強化学習 (CRL) 設定の下でよりデータ効率が高く、よりパフォーマンスの高いポリシーを学習することを目的とした、データ共有と協調探索のための新しいアルゴリズム フレームワークを提案します。
すべてのエージェントが同一の環境下で動作すると仮定する他の研究とは対照的に、私たちはこの制限を緩和し、代わりに各エージェントが全体的な構造を共有するが個々の変動も示す環境内で動作する定式化を考慮します。
私たちのアルゴリズムは、独立性の強制を通じて個々の差分を支配するモデル パラメーターを抽出する際に、加法性ノイズ モデル – 混合モデル (ANM-MM) の形式で因果推論アルゴリズムを活用します。
抽出されたモデルパラメータの類似性尺度に基づいた新しいデータ共有スキームを提案し、一連の自己回帰タスク、振り子タスク、およびカートポールスイングアップタスクで優れた学習速度を実証し、最後に、共通のタスク間での多様なアクション選択の有効性を示します。
まばらな報酬設定にあるエージェント。
私たちの知る限り、これは CRL で非同一環境を考慮した最初の研究であり、因果推論と強化学習 (RL) を統合しようとする数少ない研究の 1 つです。

要約(オリジナル)

In this work, we propose a novel algorithmic framework for data sharing and coordinated exploration for the purpose of learning more data-efficient and better performing policies under a concurrent reinforcement learning (CRL) setting. In contrast to other work which make the assumption that all agents act under identical environments, we relax this restriction and instead consider the formulation where each agent acts within an environment which shares a global structure but also exhibits individual variations. Our algorithm leverages a causal inference algorithm in the form of Additive Noise Model – Mixture Model (ANM-MM) in extracting model parameters governing individual differentials via independence enforcement. We propose a new data sharing scheme based on a similarity measure of the extracted model parameters and demonstrate superior learning speeds on a set of autoregressive, pendulum and cart-pole swing-up tasks and finally, we show the effectiveness of diverse action selection between common agents under a sparse reward setting. To the best of our knowledge, this is the first work in considering non-identical environments in CRL and one of the few works which seek to integrate causal inference with reinforcement learning (RL).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google