Causal Entropy and Information Gain for Measuring Causal Control

要約

人工知能のモデルと手法には通常、因果関係の解釈可能性が欠けています。
解釈可能な機械学習 (IML) 手法の進歩にも関わらず、それらは結果変数に対する因果関係のない特徴に重要性を割り当てることがよくあります。
これらの方法で関連性があると特定された特徴の中から因果的に関連する特徴を選択することによって、またはモデルのトレーニング前であっても、解決策が得られます。
情報理論量を利用した特徴選択方法は、統計的に関連する特徴を特定することに成功しています。
ただし、それらが基づいている情報理論量には因果関係が組み込まれていないため、そのようなシナリオには適していません。
この課題に対処するために、この記事では、システムの因果構造を組み込んだ情報理論量を提案します。これは、特定の結果変数に対する特徴の因果関係の重要性を評価するために使用できます。
具体的には、因果エントロピーと因果情報ゲインと呼ばれる、エントロピーと相互情報の因果バージョンを導入します。これらは、特徴が結果変数に対してどの程度の制御を提供するかを評価するように設計されています。
これらの新しく定義された量は、他の変数への介入によって生じる変数のエントロピーの変化を捕捉します。
これらの量を因果関係の存在に結び付ける基本的な結果が導き出されます。
特徴選択における因果情報ゲインの使用が実証され、どの特徴が選択された結果変数を制御するかを明らかにする際に、標準的な相互情報量よりもその優位性が強調されます。
私たちの調査は、因果関係が関与する領域での解釈可能性を向上させた手法の開発への道を切り開きます。

要約(オリジナル)

Artificial intelligence models and methods commonly lack causal interpretability. Despite the advancements in interpretable machine learning (IML) methods, they frequently assign importance to features which lack causal influence on the outcome variable. Selecting causally relevant features among those identified as relevant by these methods, or even before model training, would offer a solution. Feature selection methods utilizing information theoretical quantities have been successful in identifying statistically relevant features. However, the information theoretical quantities they are based on do not incorporate causality, rendering them unsuitable for such scenarios. To address this challenge, this article proposes information theoretical quantities that incorporate the causal structure of the system, which can be used to evaluate causal importance of features for some given outcome variable. Specifically, we introduce causal versions of entropy and mutual information, termed causal entropy and causal information gain, which are designed to assess how much control a feature provides over the outcome variable. These newly defined quantities capture changes in the entropy of a variable resulting from interventions on other variables. Fundamental results connecting these quantities to the existence of causal effects are derived. The use of causal information gain in feature selection is demonstrated, highlighting its superiority over standard mutual information in revealing which features provide control over a chosen outcome variable. Our investigation paves the way for the development of methods with improved interpretability in domains involving causation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google