Methodological Explainability Evaluation of an Interpretable Deep Learning Model for Post-Hepatectomy Liver Failure Prediction Incorporating Counterfactual Explanations and Layerwise Relevance Propagation: A Prospective In Silico Trial

要約

人工知能 (AI) ベースの意思決定支援システムは、肝細胞癌 (HCC) における肝切除後肝不全 (PHLF) の予測に価値があることが実証されています。
しかし、それらは透明性を欠いていることが多く、モデルの説明が臨床医の決定に及ぼす影響は十分に評価されていません。
先行研究に基づいて、術前 PHLF 予測のための変分オートエンコーダー多層パーセプトロン (VAE-MLP) モデルを開発しました。
このモデルは、反事実と層別関連性伝播 (LRP) を統合して、意思決定メカニズムへの洞察を提供します。
さらに、AI システムの説明可能性を評価するための方法論的枠組みを提案しました。
このフレームワークには、認識されたバイオマーカーに対する説明の定性的および定量的評価、ユーザビリティ評価、およびコンピュータでの臨床試験が含まれます。
私たちの評価では、モデルの説明が確立されたバイオマーカーと相関しており、ケースレベルとシステムレベルの両方で高い有用性を示していることが実証されました。
さらに、3 トラックの in silico 臨床試験の結果では、AI による説明が提供されると臨床医の予測精度と信頼度が向上することが示されました。

要約(オリジナル)

Artificial intelligence (AI)-based decision support systems have demonstrated value in predicting post-hepatectomy liver failure (PHLF) in hepatocellular carcinoma (HCC). However, they often lack transparency, and the impact of model explanations on clinicians’ decisions has not been thoroughly evaluated. Building on prior research, we developed a variational autoencoder-multilayer perceptron (VAE-MLP) model for preoperative PHLF prediction. This model integrated counterfactuals and layerwise relevance propagation (LRP) to provide insights into its decision-making mechanism. Additionally, we proposed a methodological framework for evaluating the explainability of AI systems. This framework includes qualitative and quantitative assessments of explanations against recognized biomarkers, usability evaluations, and an in silico clinical trial. Our evaluations demonstrated that the model’s explanation correlated with established biomarkers and exhibited high usability at both the case and system levels. Furthermore, results from the three-track in silico clinical trial showed that clinicians’ prediction accuracy and confidence increased when AI explanations were provided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google