Aggregated Attributions for Explanatory Analysis of 3D Segmentation Models

要約

3D セグメンテーション モデルの分析は、特に医療画像のコンテキストにおいては、セグメンテーションのパフォーマンス指標に限定されることが多く、説明可能性とバイアスという重要な側面が見落とされます。
現在、顕著性マップを使用してこれらのモデルを効果的に説明することは、入力画像の次元が高く、セグメント化されたクラス ラベルの数が増え続けるため、困難です。
この目的を達成するために、セグメンテーション モデルの予測のきめ細かいボクセル属性を集約する方法論である Agg^2Exp を導入します。
主に局所的な特徴の帰属に焦点を当てた古典的な説明方法とは異なり、Agg^2Exp では、3D 画像内の予測されたセグメントの重要性について、より包括的な全体像を得ることができます。
私たちのベンチマーク実験では、勾配ベースのボクセル属性の方が、摂動ベースの説明よりもモデルの予測に忠実であることが示されています。
具体的なユースケースとして、Agg^2Exp を適用して、CT 医療画像内の解剖学的構造をセグメント化するために TotalSegmentator v2 データセットでトレーニングされた Swin UNEt TRansformer モデルによって取得された知識を発見します。
Agg^2Exp は、予測パフォーマンスを超えて大規模なセグメンテーション モデルの説明分析を容易にします。

要約(オリジナル)

Analysis of 3D segmentation models, especially in the context of medical imaging, is often limited to segmentation performance metrics that overlook the crucial aspect of explainability and bias. Currently, effectively explaining these models with saliency maps is challenging due to the high dimensions of input images multiplied by the ever-growing number of segmented class labels. To this end, we introduce Agg^2Exp, a methodology for aggregating fine-grained voxel attributions of the segmentation model’s predictions. Unlike classical explanation methods that primarily focus on the local feature attribution, Agg^2Exp enables a more comprehensive global view on the importance of predicted segments in 3D images. Our benchmarking experiments show that gradient-based voxel attributions are more faithful to the model’s predictions than perturbation-based explanations. As a concrete use-case, we apply Agg^2Exp to discover knowledge acquired by the Swin UNEt TRansformer model trained on the TotalSegmentator v2 dataset for segmenting anatomical structures in computed tomography medical images. Agg^2Exp facilitates the explanatory analysis of large segmentation models beyond their predictive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google