Additive Causal Bandits with Unknown Graph

要約

私たちは、学習者が因果グラフによって関連付けられた一連の確率変数に介入することを選択でき、学習者が順番に介入を選択し、介入分布からサンプルを観察する因果バンディット設定でアクションを選択するアルゴリズムを探索します。
学習者の目標は、観察可能な変数に対するすべての介入の中から、結果変数の期待値を最大化する介入を迅速に見つけることです。
結果とその先祖との間に潜在的な交絡因子が存在しないことを除いて、因果関係グラフについての知識がないと仮定することにより、以前の文献から逸脱します。
まず、未知のグラフ問題が結果の親において指数関数的に困難になる可能性があることを示します。
これを修正するために、結果に対して追加の加算的な仮定を採用します。これにより、フルバンディット フィードバックを備えた加算的な組み合わせ線形バンディット問題としてキャストすることで問題を解決できるようになります。
この設定に対して新しいアクション消去アルゴリズムを提案し、このアルゴリズムを因果的バンディット問題に適用する方法を示し、サンプルの複雑さの限界を提供し、ランダムに生成された一連の因果モデルに関する発見を経験的に検証し、効果的にアクション消去アルゴリズムが必要ないことを示します。
結果の親を明示的に学習して、最適な介入を特定します。

要約(オリジナル)

We explore algorithms to select actions in the causal bandit setting where the learner can choose to intervene on a set of random variables related by a causal graph, and the learner sequentially chooses interventions and observes a sample from the interventional distribution. The learner’s goal is to quickly find the intervention, among all interventions on observable variables, that maximizes the expectation of an outcome variable. We depart from previous literature by assuming no knowledge of the causal graph except that latent confounders between the outcome and its ancestors are not present. We first show that the unknown graph problem can be exponentially hard in the parents of the outcome. To remedy this, we adopt an additional additive assumption on the outcome which allows us to solve the problem by casting it as an additive combinatorial linear bandit problem with full-bandit feedback. We propose a novel action-elimination algorithm for this setting, show how to apply this algorithm to the causal bandit problem, provide sample complexity bounds, and empirically validate our findings on a suite of randomly generated causal models, effectively showing that one does not need to explicitly learn the parents of the outcome to identify the best intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google