Improving Counterfactual Truthfulness for Molecular Property Prediction through Uncertainty Quantification

要約

説明可能なAI（xAI）の介入は、複雑なブラックボックスモデルの解釈可能性を向上させることを目的としており、ユーザーの信頼を向上させるだけでなく、高性能な予測システムから科学的洞察を引き出す手段でもある。分子物性予測において、反事実的説明は、入力された分子構造における最小の摂動が、予測された物性における最大の偏差を引き起こすかを強調することによって、予測動作を理解する方法を提供する。しかし、このような説明は、真の物性の分布を反映している場合にのみ、意味のある科学的洞察を可能にする。この真実性を高めるために、予測された不確実性の高い反事実候補をフィルタリングする不確実性推定技術の統合を提案する。合成データセットと実世界データセットを用いた計算実験を通じて、アンサンブルや平均分散推定といった従来の不確実性推定手法が、特に分布外設定において、平均予測誤差を既に大幅に減少させ、反事実の真実性を高めることができることを実証する。我々の結果は、不確実性推定を説明可能性手法に取り入れることの重要性と潜在的な影響力を強調するものであり、特にモデルアンサンブルのような低労力介入の比較的高い有効性を考慮したものである。

要約(オリジナル)

Explainable AI (xAI) interventions aim to improve interpretability for complex black-box models, not only to improve user trust but also as a means to extract scientific insights from high-performing predictive systems. In molecular property prediction, counterfactual explanations offer a way to understand predictive behavior by highlighting which minimal perturbations in the input molecular structure cause the greatest deviation in the predicted property. However, such explanations only allow for meaningful scientific insights if they reflect the distribution of the true underlying property — a feature we define as counterfactual truthfulness. To increase this truthfulness, we propose the integration of uncertainty estimation techniques to filter counterfactual candidates with high predicted uncertainty. Through computational experiments with synthetic and real-world datasets, we demonstrate that traditional uncertainty estimation methods, such as ensembles and mean-variance estimation, can already substantially reduce the average prediction error and increase counterfactual truthfulness, especially for out-of-distribution settings. Our results highlight the importance and potential impact of incorporating uncertainty estimation into explainability methods, especially considering the relatively high effectiveness of low-effort interventions like model ensembles.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL