Evaluation of importance estimators in deep learning classifiers for Computed Tomography

要約

ディープ ラーニングは、オブジェクトの検出と画像の分類において優れたパフォーマンスを示しており、医療画像の分析に大きな期待が寄せられています。
ディープ ラーニングの成功を医用画像処理に応用するには、医師が基礎となるプロセスを理解する必要があります。そのためには、ニューラル ネットワークの予測を解釈して説明する能力が必要です。
ディープ ニューラル ネットワークの解釈可能性は、多くの場合、結果 (クラス確率など) に対する入力特徴 (ピクセルなど) の重要性の推定に依存しています。
ただし、多くの重要度推定量 (顕著性マップとも呼ばれます) が開発されており、どれが医療画像処理アプリケーションにより関連性が高いかは不明です。
現在の作業では、3 つの異なる評価メトリックを使用して、畳み込みディープ ネットワークによるコンピューター断層撮影 (CT) 画像の分類を説明する際に、いくつかの重要度推定量のパフォーマンスを調査しました。
まず、モデル中心の忠実度は、特定の入力が乱れた場合のモデル精度の低下を測定します。
第 2 に、重要度スコアと専門家が定義したセグメンテーション マスクとの一致は、受信者動作特性 (ROC) 曲線によってピクセル レベルで測定されます。
3 番目に、Dice Similarity Coefficients (DSC) によって XRAI ベースのマップとセグメンテーション マスクの間の領域ごとのオーバーラップを測定します。
全体として、SmoothGrad の 2 つのバージョンが忠実度と ROC のランキングでトップになりましたが、Integrated Gradients と SmoothGrad の両方が DSC 評価で優れていました。
興味深いことに、モデル中心 (忠実度) の評価と人間中心 (ROC および DSC) の評価の間に重大な不一致がありました。
セグメンテーション マップに埋め込まれた専門家の期待と直感は、モデルが予測に到達した方法と必ずしも一致しません。
この解釈可能性の違いを理解することは、医学における深層学習の力を活用するのに役立ちます。

要約(オリジナル)

Deep learning has shown superb performance in detecting objects and classifying images, ensuring a great promise for analyzing medical imaging. Translating the success of deep learning to medical imaging, in which doctors need to understand the underlying process, requires the capability to interpret and explain the prediction of neural networks. Interpretability of deep neural networks often relies on estimating the importance of input features (e.g., pixels) with respect to the outcome (e.g., class probability). However, a number of importance estimators (also known as saliency maps) have been developed and it is unclear which ones are more relevant for medical imaging applications. In the present work, we investigated the performance of several importance estimators in explaining the classification of computed tomography (CT) images by a convolutional deep network, using three distinct evaluation metrics. First, the model-centric fidelity measures a decrease in the model accuracy when certain inputs are perturbed. Second, concordance between importance scores and the expert-defined segmentation masks is measured on a pixel level by a receiver operating characteristic (ROC) curves. Third, we measure a region-wise overlap between a XRAI-based map and the segmentation mask by Dice Similarity Coefficients (DSC). Overall, two versions of SmoothGrad topped the fidelity and ROC rankings, whereas both Integrated Gradients and SmoothGrad excelled in DSC evaluation. Interestingly, there was a critical discrepancy between model-centric (fidelity) and human-centric (ROC and DSC) evaluation. Expert expectation and intuition embedded in segmentation maps does not necessarily align with how the model arrived at its prediction. Understanding this difference in interpretability would help harnessing the power of deep learning in medicine.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google