Causal Concept Graph Models: Beyond Causal Opacity in Deep Learning

要約

因果不透明度は、ディープニューラルネットワーク（DNN）モデルの決定の根底にある「隠された」因果構造を理解するのが難しいことを示します。
これにより、特にハイステークスシナリオで、最先端のDNNベースのシステムに依存して検証できなくなります。
このため、DNNSの因果不透明度を回避することは、深い学習、解釈可能性、因果関係の交差点での重要なオープンな課題を表しています。
この作業は、意思決定プロセスが設計により因果的に透明である解釈可能なモデルのクラスである因果概念グラフモデル（因果CGM）を導入することにより、このギャップに対処します。
我々の実験は、因果CGMが次のことを示しています。（i）因果的に不透明なモデルの一般化パフォーマンスと一致し、（ii）誤って予測された中間推論の手順をループする人間の修正を可能にし、修正後の下流の精度だけでなく、特定の例で提供された説明の関係性も高め、（III）uculion and countal and countalの分析をサポートします。
信頼性と公平性の効果的な検証をサポートします。

要約(オリジナル)

Causal opacity denotes the difficulty in understanding the ‘hidden’ causal structure underlying the decisions of deep neural network (DNN) models. This leads to the inability to rely on and verify state-of-the-art DNN-based systems, especially in high-stakes scenarios. For this reason, circumventing causal opacity in DNNs represents a key open challenge at the intersection of deep learning, interpretability, and causality. This work addresses this gap by introducing Causal Concept Graph Models (Causal CGMs), a class of interpretable models whose decision-making process is causally transparent by design. Our experiments show that Causal CGMs can: (i) match the generalisation performance of causally opaque models, (ii) enable human-in-the-loop corrections to mispredicted intermediate reasoning steps, boosting not just downstream accuracy after corrections but also the reliability of the explanations provided for specific instances, and (iii) support the analysis of interventional and counterfactual scenarios, thereby improving the model’s causal interpretability and supporting the effective verification of its reliability and fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google