Benchmark data to study the influence of pre-training on explanation performance in MR image classification

要約

畳み込みニューラル ネットワーク (CNN) は、医療予測タスクで頻繁に使用され、成功しています。
これらは転移学習と組み合わせて使用​​されることが多く、タスクのトレーニング データが不足している場合のパフォーマンスの向上につながります。
結果として得られるモデルは非常に複雑で、通常はその予測メカニズムについての洞察が得られないため、「説明可能な」人工知能 (XAI) の分野が活性化されています。
しかし、これまでの研究では、グラウンドトゥルースデータに対する XAI 手法の「説明パフォーマンス」を定量的に評価したことはほとんどなく、転移学習とその説明パフォーマンスの客観的な尺度への影響は調査されていませんでした。
ここでは、現実的な磁気共鳴画像法 (MRI) 分類タスクにおける説明パフォーマンスの定量化を可能にするベンチマーク データセットを提案します。
このベンチマークを使用して、説明の品質に対する転移学習の影響を理解します。
実験結果は、同じ基礎となるモデルに適用された一般的な XAI 手法は、正しく分類された例のみを考慮した場合でも、パフォーマンスが大きく異なることを示しています。
さらに、説明のパフォーマンスは、事前トレーニングに使用されるタスクと事前トレーニングされた CNN 層の数に大きく依存することが観察されました。
これらの結果は、説明と分類パフォーマンスの間の実質的な相関関係を補正した後でも当てはまります。

要約(オリジナル)

Convolutional Neural Networks (CNNs) are frequently and successfully used in medical prediction tasks. They are often used in combination with transfer learning, leading to improved performance when training data for the task are scarce. The resulting models are highly complex and typically do not provide any insight into their predictive mechanisms, motivating the field of ‘explainable’ artificial intelligence (XAI). However, previous studies have rarely quantitatively evaluated the ‘explanation performance’ of XAI methods against ground-truth data, and transfer learning and its influence on objective measures of explanation performance has not been investigated. Here, we propose a benchmark dataset that allows for quantifying explanation performance in a realistic magnetic resonance imaging (MRI) classification task. We employ this benchmark to understand the influence of transfer learning on the quality of explanations. Experimental results show that popular XAI methods applied to the same underlying model differ vastly in performance, even when considering only correctly classified examples. We further observe that explanation performance strongly depends on the task used for pre-training and the number of CNN layers pre-trained. These results hold after correcting for a substantial correlation between explanation and classification performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google