Missed Causes and Ambiguous Effects: Counterfactuals Pose Challenges for Interpreting Neural Networks

要約

解釈可能性研究は、因果性の反事実理論を当然のものとしている。ほとんどの因果手法は、入力に対する反実仮想的な介入、または特定のモデル構成要素の活性化に依存し、その後にモデルの出力ロジットまたは行動の変化を観察する。これは相関的手法よりも忠実な証拠をもたらすが、それにもかかわらず、反事実的手法には、特定の予測可能な方法で我々の発見にバイアスをかける重要な問題がある。具体的には、(i)反実仮想理論は、同じ効果の複数の独立に十分な原因を効果的に捉えることができないため、特定の原因を完全に見逃してしまうこと、(ii)ニューラルネットワークにおける反実仮想依存関係は一般に推移的でないため、ニューラルネットワークから因果グラフを抽出して解釈する手法が複雑になること、などである。これらの課題が解釈可能性研究者に与える影響について議論し、今後の研究に対する具体的な提案を行う。

要約(オリジナル)

Interpretability research takes counterfactual theories of causality for granted. Most causal methods rely on counterfactual interventions to inputs or the activations of particular model components, followed by observations of the change in models’ output logits or behaviors. While this yields more faithful evidence than correlational methods, counterfactuals nonetheless have key problems that bias our findings in specific and predictable ways. Specifically, (i) counterfactual theories do not effectively capture multiple independently sufficient causes of the same effect, which leads us to miss certain causes entirely; and (ii) counterfactual dependencies in neural networks are generally not transitive, which complicates methods for extracting and interpreting causal graphs from neural networks. We discuss the implications of these challenges for interpretability researchers and propose concrete suggestions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL