From slides (through tiles) to pixels: an explainability framework for weakly supervised models in pre-clinical pathology

要約

前臨床病理学では、豊富な生データ（多くの動物個体の多くの臓器からの全スライド画像）と病理医が行うピクセルレベルのスライドアノテーションの欠如との間にパラドックスがある。時間的な制約や規制当局からの要求により、診断結果はスライドのラベルとして保存される。弱教師付き学習はこれらのデータを利用するために設計されており、学習されたモデルは病理医によって、ある関心対象の病変を含む確率によってスライドをランク付けするために利用されることができる。本研究では、文脈に応じた新しいeXplainable AI（XAI）フレームワークと、デジタル病理学におけるWhole Slide Images（WSIs）上で訓練された深層学習モデルへのその応用を提案する。具体的には、ピクセルレベルのアノテーションを必要とせず、スライドレベルのラベルのみで学習するマルチインスタンスラーニング（MIL）モデルに我々の方法を適用する。我々は、病理学者の注釈と我々の説明のヒートマップの一致を定量化することによって、我々の方法を定量的に検証し、また、そのような注釈に基づいて訓練されたセグメンテーションモデルからの予測と同様に定量的に検証する。また、入力のずれに対する説明の安定性と、モデル性能の向上に対する忠実性を実証する。また、利用可能な画素単位の注釈と説明可能なヒートマップとの相関を定量的に評価する。その結果、スライド全体の重要なタイル上の説明は、健常部位と病変部位の間の組織変化と相関するが、人間の注釈者のように正確に動作するわけではないことがわかった。この結果は、モデルの学習戦略と首尾一貫している。

要約(オリジナル)

In pre-clinical pathology, there is a paradox between the abundance of raw data (whole slide images from many organs of many individual animals) and the lack of pixel-level slide annotations done by pathologists. Due to time constraints and requirements from regulatory authorities, diagnoses are instead stored as slide labels. Weakly supervised training is designed to take advantage of those data, and the trained models can be used by pathologists to rank slides by their probability of containing a given lesion of interest. In this work, we propose a novel contextualized eXplainable AI (XAI) framework and its application to deep learning models trained on Whole Slide Images (WSIs) in Digital Pathology. Specifically, we apply our methods to a multi-instance-learning (MIL) model, which is trained solely on slide-level labels, without the need for pixel-level annotations. We validate quantitatively our methods by quantifying the agreements of our explanations’ heatmaps with pathologists’ annotations, as well as with predictions from a segmentation model trained on such annotations. We demonstrate the stability of the explanations with respect to input shifts, and the fidelity with respect to increased model performance. We quantitatively evaluate the correlation between available pixel-wise annotations and explainability heatmaps. We show that the explanations on important tiles of the whole slide correlate with tissue changes between healthy regions and lesions, but do not exactly behave like a human annotator. This result is coherent with the model training strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL