Counterfactual Explanations for Medical Image Classification and Regression using Diffusion Autoencoder

要約

反事実的説明 (CE) は、入力特徴の変更が結果の予測にどのような影響を与えるかを示すことにより、機械学習モデルの解釈可能性を高めることを目的としています。
一般的な CE アプローチには追加のモデルが必要であり、通常は 2 つの反事実に制限されます。
対照的に、我々は生成モデルの潜在空間、具体的には拡散オートエンコーダー (DAE) に直接作用する新しい方法を提案します。
このアプローチは、CE の生成と意思決定境界を越えたモデルの内部表現の継続的な視覚化を可能にすることで、固有の解釈可能性を提供します。
私たちの方法は、教師なしの方法で画像を意味論的に豊富な潜在空間にエンコードする DAE の機能を活用し、ラベル付きデータや個別の特徴抽出モデルの必要性を排除します。
私たちは、これらの潜在表現が病状の分類や、脊椎圧迫骨折 (VCF) や糖尿病性網膜症 (DR) などの重症度病状の順序回帰に役立つことを示します。
バイナリ CE を超えて、私たちの方法は線形モデルを使用した順序 CE の視覚化をサポートし、モデルの意思決定プロセスに対するより深い洞察を提供し、解釈可能性を高めます。
さまざまな医療画像データセットにわたる実験により、この方法の解釈可能性と汎用性の利点が実証されています。
DAE の潜在空間の線形多様体により、意味のある補間と操作が可能になり、医療画像の特性を探索するための強力なツールになります。
コードは https://doi.org/10.5281/zenodo.13859266 で入手できます。

要約(オリジナル)

Counterfactual explanations (CEs) aim to enhance the interpretability of machine learning models by illustrating how alterations in input features would affect the resulting predictions. Common CE approaches require an additional model and are typically constrained to binary counterfactuals. In contrast, we propose a novel method that operates directly on the latent space of a generative model, specifically a Diffusion Autoencoder (DAE). This approach offers inherent interpretability by enabling the generation of CEs and the continuous visualization of the model’s internal representation across decision boundaries. Our method leverages the DAE’s ability to encode images into a semantically rich latent space in an unsupervised manner, eliminating the need for labeled data or separate feature extraction models. We show that these latent representations are helpful for medical condition classification and the ordinal regression of severity pathologies, such as vertebral compression fractures (VCF) and diabetic retinopathy (DR). Beyond binary CEs, our method supports the visualization of ordinal CEs using a linear model, providing deeper insights into the model’s decision-making process and enhancing interpretability. Experiments across various medical imaging datasets demonstrate the method’s advantages in interpretability and versatility. The linear manifold of the DAE’s latent space allows for meaningful interpolation and manipulation, making it a powerful tool for exploring medical image properties. Our code is available at https://doi.org/10.5281/zenodo.13859266.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google