Causal Discovery and Classification Using Lempel-Ziv Complexity

要約

機械学習アルゴリズムの意思決定プロセスにおける因果関係の推論は、説明可能な人工知能 (AI) の実現に向けた重要なステップです。
この研究では、Lempel-Ziv (LZ) 複雑度から導出された新しい因果関係尺度と距離計量を導入します。
私たちは、結果を最も強く \textit{原因}する特徴に基づいて分割を有効にすることで、提案された因果関係の尺度をデシジョン ツリーでどのように使用できるかを検討します。
さらに、Gini 不純物を使用した従来のデシジョン ツリーと比較して、因果関係ベースのデシジョン ツリーと距離ベースのデシジョン ツリーの有効性を評価します。
提案された方法は全体として同等の分類パフォーマンスを示していますが、因果関係ベースのデシジョン ツリーは、因果モデルから生成されたデータセットでは距離ベースのデシジョン ツリーとジニ ベースのデシジョン ツリーの両方を大幅に上回っています。
この結果は、提案されたアプローチが、特に因果的に構造化されたデータにおいて、古典的な決定木を超える洞察を獲得できることを示しています。
LZ 因果尺度ベースのデシジョン ツリーで使用される特徴に基づいて、結果の発生に対する支配的な因果変数を推測するために、データセット内の各特徴の因果強度を導入します。

要約(オリジナル)

Inferring causal relationships in the decision-making processes of machine learning algorithms is a crucial step toward achieving explainable Artificial Intelligence (AI). In this research, we introduce a novel causality measure and a distance metric derived from Lempel-Ziv (LZ) complexity. We explore how the proposed causality measure can be used in decision trees by enabling splits based on features that most strongly \textit{cause} the outcome. We further evaluate the effectiveness of the causality-based decision tree and the distance-based decision tree in comparison to a traditional decision tree using Gini impurity. While the proposed methods demonstrate comparable classification performance overall, the causality-based decision tree significantly outperforms both the distance-based decision tree and the Gini-based decision tree on datasets generated from causal models. This result indicates that the proposed approach can capture insights beyond those of classical decision trees, especially in causally structured data. Based on the features used in the LZ causal measure based decision tree, we introduce a causal strength for each features in the dataset so as to infer the predominant causal variables for the occurrence of the outcome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google