Causal Concept Graph Models: Beyond Causal Opacity in Deep Learning

要約

因果不透明度は、ディープニューラルネットワーク（DNN）モデルの決定の根底にある「隠された」因果構造を理解するのが難しいことを示します。
これにより、特にハイステークスシナリオで、最先端のDNNベースのシステムに依存して検証できなくなります。
このため、DNNSの因果不透明度を回避することは、深い学習、解釈可能性、因果関係の交差点での重要なオープンな課題を表しています。
この作業は、意思決定プロセスが設計により因果的に透明である解釈可能なモデルのクラスである因果概念グラフモデル（因果CGM）を導入することにより、このギャップに対処します。
私たちの実験は、因果CGMが次のことを示しています。（i）因果的に不透明モデルの一般化パフォーマンスと一致し、（ii）誤って予測された中間推論ステップにループの補正を可能にし、補正後の下流の精度だけでなく、信頼性も高めます。
特定のインスタンスに提供された説明は、（iii）介入的および反事実的なシナリオの分析をサポートし、それによりモデルの因果解釈可能性を改善し、その信頼性と公平性の効果的な検証をサポートします。

要約(オリジナル)

Causal opacity denotes the difficulty in understanding the ‘hidden’ causal structure underlying the decisions of deep neural network (DNN) models. This leads to the inability to rely on and verify state-of-the-art DNN-based systems, especially in high-stakes scenarios. For this reason, circumventing causal opacity in DNNs represents a key open challenge at the intersection of deep learning, interpretability, and causality. This work addresses this gap by introducing Causal Concept Graph Models (Causal CGMs), a class of interpretable models whose decision-making process is causally transparent by design. Our experiments show that Causal CGMs can: (i) match the generalisation performance of causally opaque models, (ii) enable human-in-the-loop corrections to mispredicted intermediate reasoning steps, boosting not just downstream accuracy after corrections but also the reliability of the explanations provided for specific instances, and (iii) support the analysis of interventional and counterfactual scenarios, thereby improving the model’s causal interpretability and supporting the effective verification of its reliability and fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google