Causally Reliable Concept Bottleneck Models

要約

概念ベースのモデルは、人間が解釈可能な変数を介して動作する推論プロセスを制約し、説明可能性と人間の相互作用を促進する深い学習の新たなパラダイムです。
ただし、これらのアーキテクチャは、一般的な不透明ニューラルモデルと同等に、データに表されるターゲット現象の根底にある真の因果メカニズムを説明できません。
これにより、因果的推論のタスクをサポートする能力が妨げられ、分散の一般化を制限し、公平性の制約の実装を妨げます。
これらの問題を克服するために、現実世界の因果メカニズムのモデルに従って構成された概念のボトルネックを通じて推論を強制する概念ベースのアーキテクチャのクラスである因果的に信頼できる概念ボトルネックモデル（c $^2 $ bms）を提案します。
また、観察データと非構造化された背景知識（科学文献など）からこの構造を自動的に学習するためのパイプラインを紹介します。
実験的証拠は、C $^2 $ bmsがより解釈可能で因果関係があり、介入に対する反応性を改善することを示唆しています。
標準的な不透明およびコンセプトベースのモデルは、その精度を維持します。

要約(オリジナル)

Concept-based models are an emerging paradigm in deep learning that constrains the inference process to operate through human-interpretable variables, facilitating explainability and human interaction. However, these architectures, on par with popular opaque neural models, fail to account for the true causal mechanisms underlying the target phenomena represented in the data. This hampers their ability to support causal reasoning tasks, limits out-of-distribution generalization, and hinders the implementation of fairness constraints. To overcome these issues, we propose Causally reliable Concept Bottleneck Models (C$^2$BMs), a class of concept-based architectures that enforce reasoning through a bottleneck of concepts structured according to a model of the real-world causal mechanisms. We also introduce a pipeline to automatically learn this structure from observational data and unstructured background knowledge (e.g., scientific literature). Experimental evidence suggests that C$^2$BMs are more interpretable, causally reliable, and improve responsiveness to interventions w.r.t. standard opaque and concept-based models, while maintaining their accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google