Beyond the Black Box: Do More Complex Models Provide Superior XAI Explanations?

要約

人工知能モデルの複雑さの増大により、特に医療分野では解釈可能性に課題が生じています。
この研究では、4 つの ResNet アーキテクチャ (ResNet-18、34、50、101) を利用して、深層学習モデルの複雑さと Explainable AI (XAI) の有効性の影響を調査します。
この研究では、新型コロナウイルス感染症患者と健康な患者の肺 X 線画像 4,369 枚に対する系統的な実験を通じて、モデルの分類性能と、グラウンドトゥルース疾患マスクに関する対応する XAI 説明の関連性を評価しています。
結果は、モデルの複雑さの増加が分類精度と AUC-ROC スコアの低下に関連していることを示しています (ResNet-18: 98.4%、0.997; ResNet-101: 95.9%、0.988)。
特に、実行された 12 の統計テストのうち 11 では、トレーニング済みモデル全体の XAI 定量的指標 (関連性ランク精度と提案されたポジティブ アトリビューション率) の間に統計的に有意な差は発生しませんでした。
これらの結果は、モデルの複雑さの増加が、一貫してパフォーマンスの向上や、モデルの意思決定プロセスの説明の関連性の向上につながるわけではないことを示唆しています。

要約(オリジナル)

The increasing complexity of Artificial Intelligence models poses challenges to interpretability, particularly in the healthcare sector. This study investigates the impact of deep learning model complexity and Explainable AI (XAI) efficacy, utilizing four ResNet architectures (ResNet-18, 34, 50, 101). Through methodical experimentation on 4,369 lung X-ray images of COVID-19-infected and healthy patients, the research evaluates models’ classification performance and the relevance of corresponding XAI explanations with respect to the ground-truth disease masks. Results indicate that the increase in model complexity is associated with a decrease in classification accuracy and AUC-ROC scores (ResNet-18: 98.4%, 0.997; ResNet-101: 95.9%, 0.988). Notably, in eleven out of twelve statistical tests performed, no statistically significant differences occurred between XAI quantitative metrics – Relevance Rank Accuracy and the proposed Positive Attribution Ratio – across trained models. These results suggest that increased model complexity does not consistently lead to higher performance or relevance of explanations for models’ decision-making processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google