Toward Falsifying Causal Graphs Using a Permutation-Based Test

要約

システムの変数間の因果関係を理解することは、その動作を説明し制御するために最も重要です。
ただし、介入なしで観察データから因果関係グラフを推測するには、必ずしも現実的であるとは限らない多くの強力な仮定が必要です。
分野の専門家であっても、因果関係のグラフを表現するのは難しい場合があります。
したがって、因果関係グラフの良さを定量的に評価するメトリクスは、下流のタスクで使用する前に役立つチェックを提供します。
既存の指標は、グラフと観察データ間の不一致の絶対数を提供しますが、ベースラインがなければ、専門家は、そのような不一致がどのくらい許容されるか、または予想されるかという難しい質問に答える必要があります。
ここでは、ノードの置換を通じて代理ベースラインを構築することにより、新しい一貫性メトリックを提案します。
不一致の数をサロゲート ベースライン上の不一致の数と比較することで、DAG がランダムよりも大幅に良く適合するかどうかを把握する解釈可能なメトリクスを導き出します。
生物学やクラウドモニタリングなど、さまざまな分野のシミュレートされたデータセットと実際のデータセットの両方を評価して、真の DAG はメトリクスによって改ざんされていないが、仮想のユーザーによって与えられた間違ったグラフは改ざんされる可能性が高いことを実証しました。

要約(オリジナル)

Understanding the causal relationships among the variables of a system is paramount to explain and control its behaviour. Inferring the causal graph from observational data without interventions, however, requires a lot of strong assumptions that are not always realistic. Even for domain experts it can be challenging to express the causal graph. Therefore, metrics that quantitatively assess the goodness of a causal graph provide helpful checks before using it in downstream tasks. Existing metrics provide an absolute number of inconsistencies between the graph and the observed data, and without a baseline, practitioners are left to answer the hard question of how many such inconsistencies are acceptable or expected. Here, we propose a novel consistency metric by constructing a surrogate baseline through node permutations. By comparing the number of inconsistencies with those on the surrogate baseline, we derive an interpretable metric that captures whether the DAG fits significantly better than random. Evaluating on both simulated and real data sets from various domains, including biology and cloud monitoring, we demonstrate that the true DAG is not falsified by our metric, whereas the wrong graphs given by a hypothetical user are likely to be falsified.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google