Tree Search in DAG Space with Model-based Reinforcement Learning for Causal Discovery

要約

因果構造の特定は、戦略的意思決定から生物学や経済学に至るまで、多くの分野の中心となっています。
この研究では、有向非巡回グラフを増分的に構築するツリー検索に基づいて因果関係を発見するためのモデルベースの強化学習手法である CD-UCT を提案します。
また、サイクルを導入するエッジを除外するための効率的なアルゴリズムの正しさを形式化し、証明します。これにより、DAG 空間でのより深い離散検索とサンプリングが可能になります。
提案された方法は、離散確率変数と連続確率変数の両方を含む因果ベイジアン ネットワークに広く適用できます。
私たちは合成データセットと現実世界のデータセットの包括的な評価を実施し、CD-UCT が最先端のモデルフリー強化学習手法と貪欲探索を大幅に上回り、組み合わせ手法の有望な進歩となることを示しました。

要約(オリジナル)

Identifying causal structure is central to many fields ranging from strategic decision-making to biology and economics. In this work, we propose CD-UCT, a model-based reinforcement learning method for causal discovery based on tree search that builds directed acyclic graphs incrementally. We also formalize and prove the correctness of an efficient algorithm for excluding edges that would introduce cycles, which enables deeper discrete search and sampling in DAG space. The proposed method can be applied broadly to causal Bayesian networks with both discrete and continuous random variables. We conduct a comprehensive evaluation on synthetic and real-world datasets, showing that CD-UCT substantially outperforms the state-of-the-art model-free reinforcement learning technique and greedy search, constituting a promising advancement for combinatorial methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google