Entropy and the Kullback-Leibler Divergence for Bayesian Networks: Computational Complexity and Efficient Implementation

要約

ベイジアンネットワーク（BN）は、機械学習と因果推論における基礎的なモデルである。そのグラフィカルな構造は、高次元の問題を扱い、より小さな問題の疎な集まりに分割することができ、Judea Pearlの因果性の基礎となり、その説明可能性と解釈可能性を決定する。その人気にもかかわらず、最も一般的な分布仮定の下でのBNのシャノンエントロピーとカルバック・ライブラー（KL）発散の計算方法に関する文献はほとんどない。本論文では、BNのグラフ構造を利用することで、両者の計算効率の良いアルゴリズムを提供し、完全な数値例を用いてそれらを説明する。その過程で、ガウスBNのKLの計算量を3乗から2乗に減らすことが可能であることを示す。

要約(オリジナル)

Bayesian networks (BNs) are a foundational model in machine learning and causal inference. Their graphical structure can handle high-dimensional problems, divide them into a sparse collection of smaller ones, underlies Judea Pearl’s causality, and determines their explainability and interpretability. Despite their popularity, there are almost no resources in the literature on how to compute Shannon’s entropy and the Kullback-Leibler (KL) divergence for BNs under their most common distributional assumptions. In this paper, we provide computationally efficient algorithms for both by leveraging BNs’ graphical structure, and we illustrate them with a complete set of numerical examples. In the process, we show it is possible to reduce the computational complexity of KL from cubic to quadratic for Gaussian BNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL