Leveraging CAM Algorithms for Explaining Medical Semantic Segmentation

要約

畳み込みニューラル ネットワーク (CNN) は、今日のセグメンテーション タスクで一般的な結果を達成しており、画像ベースの分析の最先端を表しています。
しかし、CNN の正確な意思決定プロセスについての理解はあまり知られていません。
説明可能な人工知能 (xAI) の研究分野は、主にこのブラックボックスの動作の理解と解釈を中心に展開します。
CNN を解釈する 1 つの方法は、CNN の予測における画像領域の重要性を示すヒートマップを表すクラス アクティベーション マップ (CAM) を使用することです。
分類タスクには、さまざまな CAM アルゴリズムが存在します。
ただし、セグメンテーション タスクの場合、CNN の出力を解釈するための CAM アルゴリズムは 1 つだけ存在します。
セマンティック セグメンテーション タスクで顕著なピクセルを示す、より詳細で説明可能で一貫した結果を得るために、既存の分類ベースの方法とセグメンテーション ベースの方法の間で移行することを提案します。
結果として得られる Seg-HiRes-Grad CAM は、セグメンテーション ベースの Seg-Grad CAM を拡張し、分類ベースの HiRes CAM に移行したものです。
私たちの方法は、最近公開された分類ベースの方法に調整することで、前述の既存のセグメンテーションベースの方法を改良します。
特に医療画像のセグメンテーションの場合、この転送により、既存の説明可能性の欠点が解決されます。

要約(オリジナル)

Convolutional neural networks (CNNs) achieve prevailing results in segmentation tasks nowadays and represent the state-of-the-art for image-based analysis. However, the understanding of the accurate decision-making process of a CNN is rather unknown. The research area of explainable artificial intelligence (xAI) primarily revolves around understanding and interpreting this black-box behavior. One way of interpreting a CNN is the use of class activation maps (CAMs) that represent heatmaps to indicate the importance of image areas for the prediction of the CNN. For classification tasks, a variety of CAM algorithms exist. But for segmentation tasks, only one CAM algorithm for the interpretation of the output of a CNN exist. We propose a transfer between existing classification- and segmentation-based methods for more detailed, explainable, and consistent results which show salient pixels in semantic segmentation tasks. The resulting Seg-HiRes-Grad CAM is an extension of the segmentation-based Seg-Grad CAM with the transfer to the classification-based HiRes CAM. Our method improves the previously-mentioned existing segmentation-based method by adjusting it to recently published classification-based methods. Especially for medical image segmentation, this transfer solves existing explainability disadvantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google