Introducing δ-XAI: a novel sensitivity-based method for local AI explanations

要約

説明可能な人工知能 (XAI) は、人工知能 (AI) および機械学習 (ML) アルゴリズムを臨床現場に統合することに関する議論の中心です。
アンサンブル学習器やディープ ニューラル ネットワークなどの高性能 AI/ML モデルは、多くの場合解釈可能性に欠けており、臨床医の予測に対する信頼を妨げています。
これに対処するために、人間が理解できる言葉で AI/ML 予測を記述する XAI 技術が開発されています。
有望な方向性の 1 つは、感度分析 (SA) とグローバル感度分析 (GSA) の適応であり、これらは予測への影響によってモデル入力を本質的にランク付けします。
ここでは、GSA メトリックであるデルタ インデックスを拡張することで、ML モデル予測の局所的な説明を提供する新しいデルタ XAI メソッドを紹介します。
デルタ XAI インデックスは、回帰問題と分類問題の両方で、個々のインスタンスの予測出力に対する各特徴の値の影響を評価します。
デルタ XAI インデックスを形式化し、その実装用のコードを提供します。
デルタ XAI 法は、Shapley 値をベンチマークとして使用し、線形回帰モデルを使用したシミュレートされたシナリオで評価されました。
結果は、delta-XAI インデックスが一般に Shapley 値と一致しているが、非常に影響力のある特徴値または極端な特徴値を持つモデルでは顕著な不一致があることを示しました。
デルタ XAI インデックスは、主要な特徴の検出と極端な特徴値の処理において、より高い感度を示しました。
定性的には、デルタ XAI は確率密度関数を活用することで直感的な説明を提供し、特徴のランキングをより明確にし、実務者にとってより説明しやすくします。
全体として、delta-XAI 手法は、ML モデル予測の局所的な説明を確実に取得するのに有望であると思われます。
AI支援の臨床ワークフローへの影響を評価するために、現実の臨床現場でさらなる調査が行われる予定です。

要約(オリジナル)

Explainable Artificial Intelligence (XAI) is central to the debate on integrating Artificial Intelligence (AI) and Machine Learning (ML) algorithms into clinical practice. High-performing AI/ML models, such as ensemble learners and deep neural networks, often lack interpretability, hampering clinicians’ trust in their predictions. To address this, XAI techniques are being developed to describe AI/ML predictions in human-understandable terms. One promising direction is the adaptation of sensitivity analysis (SA) and global sensitivity analysis (GSA), which inherently rank model inputs by their impact on predictions. Here, we introduce a novel delta-XAI method that provides local explanations of ML model predictions by extending the delta index, a GSA metric. The delta-XAI index assesses the impact of each feature’s value on the predicted output for individual instances in both regression and classification problems. We formalize the delta-XAI index and provide code for its implementation. The delta-XAI method was evaluated on simulated scenarios using linear regression models, with Shapley values serving as a benchmark. Results showed that the delta-XAI index is generally consistent with Shapley values, with notable discrepancies in models with highly impactful or extreme feature values. The delta-XAI index demonstrated higher sensitivity in detecting dominant features and handling extreme feature values. Qualitatively, the delta-XAI provides intuitive explanations by leveraging probability density functions, making feature rankings clearer and more explainable for practitioners. Overall, the delta-XAI method appears promising for robustly obtaining local explanations of ML model predictions. Further investigations in real-world clinical settings will be conducted to evaluate its impact on AI-assisted clinical workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google