Counterfactuals and Uncertainty-Based Explainable Paradigm for the Automated Detection and Segmentation of Renal Cysts in Computed Tomography Images: A Multi-Center Study

要約

定期的なコンピューター断層撮影 (CT) スキャンでは、広範囲の腎嚢胞が検出されることが多く、その中には悪性のものも含まれます。
これらの嚢胞の早期かつ正確な位置特定は、定量的な画像分析に大きく役立ちます。
しかし、現在のセグメンテーション方法では、特徴レベルやピクセル レベルでの十分な解釈可能性が提供されていないため、モデルの不正確さを検出して修正できる説明可能なフレームワークの必要性が強調されています。
私たちは解釈可能なセグメンテーション フレームワークを開発し、それをマルチセントリックなデータセットで検証しました。
変分オートエンコーダー敵対的生成ネットワーク (VAE-GAN) を使用して、3D 入力パッチの潜在表現を学習し、入力画像を再構築しました。
セグメンテーション モデルの勾配を使用した潜在表現の変更により、さまざまなサイコロ類似係数 (DSC) に対する反事実的な説明が生成されました。
グラウンド トゥルース シスト マスクを使用して、これらの反事実画像から抽出されたラジオミクス特徴が分析され、セグメンテーション パフォーマンスとの相関関係が決定されました。
反事実画像生成のための元の画像と VAE-GAN 再構成画像の DSC には、有意な差はありませんでした。
反事実的な説明は、嚢胞画像の特徴の変化がセグメンテーションの結果にどのように影響するかを強調し、モデルの不一致を示しました。
ダイススコアと正および負の相関関係にあるラジオミクスの特徴が特定されました。
予測されたセグメンテーション マスクの不確実性は、重み空間の事後サンプリングを使用して推定されました。
反事実の説明と不確実性マップの組み合わせにより、高い不確実性をもたらすセグメント化された腎嚢胞内の画像特徴についてのより深い理解が得られました。
提案されたセグメンテーション フレームワークは、高いセグメンテーション精度を達成しただけでなく、画像の特徴がセグメンテーションのパフォーマンスにどのように影響するかについての解釈可能性も向上しました。

要約(オリジナル)

Routine computed tomography (CT) scans often detect a wide range of renal cysts, some of which may be malignant. Early and precise localization of these cysts can significantly aid quantitative image analysis. Current segmentation methods, however, do not offer sufficient interpretability at the feature and pixel levels, emphasizing the necessity for an explainable framework that can detect and rectify model inaccuracies. We developed an interpretable segmentation framework and validated it on a multi-centric dataset. A Variational Autoencoder Generative Adversarial Network (VAE-GAN) was employed to learn the latent representation of 3D input patches and reconstruct input images. Modifications in the latent representation using the gradient of the segmentation model generated counterfactual explanations for varying dice similarity coefficients (DSC). Radiomics features extracted from these counterfactual images, using a ground truth cyst mask, were analyzed to determine their correlation with segmentation performance. The DSCs for the original and VAE-GAN reconstructed images for counterfactual image generation showed no significant differences. Counterfactual explanations highlighted how variations in cyst image features influence segmentation outcomes and showed model discrepancies. Radiomics features correlating positively and negatively with dice scores were identified. The uncertainty of the predicted segmentation masks was estimated using posterior sampling of the weight space. The combination of counterfactual explanations and uncertainty maps provided a deeper understanding of the image features within the segmented renal cysts that lead to high uncertainty. The proposed segmentation framework not only achieved high segmentation accuracy but also increased interpretability regarding how image features impact segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google