Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy

要約

人間の知能における直観的な認知および推論ソリューションの重要な要素として、因果関係知識は、検索スペースを削減するのに役立ち、意思決定に向けた強化学習 (RL) エージェントの解釈可能性に大きな可能性をもたらします。
しかし、因果関係を発見してRLに組み込むことには依然としてかなりのギャップがあり、それが因果性RLの急速な発展を妨げています。
この論文では、因果的グラフィカル モデルを使用して状態の生成プロセスを明示的にモデル化し、それに基づいてポリシーを強化することを検討します。
我々は、環境の能動介入学習を伴うRL相互作用プロセスへの因果構造の更新を定式化します。
導出された目的を最適化するために、我々は、探索中の因果構造学習のための介入の使用と、活用中の政策誘導のための学習された因果構造の使用という 2 つのステップを交互に行う、理論的なパフォーマンス保証を備えたフレームワークを提案します。
状態空間への直接介入を可能にする公開ベンチマークが不足しているため、シミュレートされた障害警報環境で根本原因特定タスクを設計し、最先端のベースラインに対する提案手法の有効性と堅牢性を実証的に示します。
。
理論分析によれば、パフォーマンスの向上は因果に基づくポリシー学習と因果構造学習の好循環によるものであり、これは実験結果と一致しています。

要約(オリジナル)

As a key component to intuitive cognition and reasoning solutions in human intelligence, causal knowledge provides great potential for reinforcement learning (RL) agents’ interpretability towards decision-making by helping reduce the searching space. However, there is still a considerable gap in discovering and incorporating causality into RL, which hinders the rapid development of causal RL. In this paper, we consider explicitly modeling the generation process of states with the causal graphical model, based on which we augment the policy. We formulate the causal structure updating into the RL interaction process with active intervention learning of the environment. To optimize the derived objective, we propose a framework with theoretical performance guarantees that alternates between two steps: using interventions for causal structure learning during exploration and using the learned causal structure for policy guidance during exploitation. Due to the lack of public benchmarks that allow direct intervention in the state space, we design the root cause localization task in our simulated fault alarm environment and then empirically show the effectiveness and robustness of the proposed method against state-of-the-art baselines. Theoretical analysis shows that our performance improvement attributes to the virtuous cycle of causal-guided policy learning and causal structure learning, which aligns with our experimental results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google