On sample complexity of conditional independence testing with Von Mises estimator with application to causal discovery

要約

制約ベースの因果発見アルゴリズムの重要なステップである条件付き独立性テストを動機として、カーネル密度推定器に基づいて構築された多変量分布のエントロピーのノンパラメトリック フォン ミーゼス推定器を研究します。
この推定量に対して指数関数的な濃度不等式を確立します。
VM-CI と呼ばれる推定器に基づいて、条件付き独立性 (CI) のテストを設計します。これは、滑らかさの仮定の下で最適なパラメトリック レートを実現します。
指数関数的な濃度を利用して、VM-CI の全体的な誤差の厳しい上限を証明します。
これにより、CI テストに VM-CI を使用する制約ベースの因果発見アルゴリズムのサンプルの複雑さを特徴付けることができます。
私たちの知る限り、これは連続変数の因果関係発見のための最初のサンプル複雑性保証です。
さらに、時間またはサンプルの複雑さ (またはその両方) の点で VM-CI が他の一般的な CI テストよりも優れていることを経験的に示しており、これは構造学習においてもパフォーマンスの向上につながります。

要約(オリジナル)

Motivated by conditional independence testing, an essential step in constraint-based causal discovery algorithms, we study the nonparametric Von Mises estimator for the entropy of multivariate distributions built on a kernel density estimator. We establish an exponential concentration inequality for this estimator. We design a test for conditional independence (CI) based on our estimator, called VM-CI, which achieves optimal parametric rates under smoothness assumptions. Leveraging the exponential concentration, we prove a tight upper bound for the overall error of VM-CI. This, in turn, allows us to characterize the sample complexity of any constraint-based causal discovery algorithm that uses VM-CI for CI tests. To the best of our knowledge, this is the first sample complexity guarantee for causal discovery for continuous variables. Furthermore, we empirically show that VM-CI outperforms other popular CI tests in terms of either time or sample complexity (or both), which translates to a better performance in structure learning as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google