Exploiting Causality Signals in Medical Images: A Pilot Study with Empirical Results

要約

我々は、分類目的でニューラルネットワークを介して画像から弱い因果信号を直接発見し利用する新しい技術を紹介します。
このようにして、画像のある部分にある特徴の存在が、画像の別の部分にある別の特徴の外観にどのような影響を与えるかをモデル化します。
私たちの方法は、畳み込みニューラル ネットワークのバックボーンと、シーン内の因果関係に応じて各特徴マップを強化するための重みを計算する因果関係要因抽出モジュールで構成されています。
私たちはさまざまなアーキテクチャのバリアントを開発し、がん診断のために前立腺 MRI 画像と乳房病理組織スライドの 2 つの公開データセットに基づいてすべてのモデルを経験的に評価しています。
私たちは、完全教師あり学習と少数ショット学習の両方でモジュールの有効性を研究し、既存の注意ベースのソリューションへのモジュールの追加を評価し、アブレーション研究を実施し、クラス活性化マップを介してモデルの説明可能性を調査します。
私たちの調査結果は、軽量ブロックが意味のある情報を抽出し、全体的な分類を改善するとともに、画像の関連部分に焦点を当てたより堅牢な予測を生成することを示しています。
これは医療画像処理において非常に重要であり、効果的な診断と治療計画には正確で信頼性の高い分類が不可欠です。

要約(オリジナル)

We present a novel technique to discover and exploit weak causal signals directly from images via neural networks for classification purposes. This way, we model how the presence of a feature in one part of the image affects the appearance of another feature in a different part of the image. Our method consists of a convolutional neural network backbone and a causality-factors extractor module, which computes weights to enhance each feature map according to its causal influence in the scene. We develop different architecture variants and empirically evaluate all the models on two public datasets of prostate MRI images and breast histopathology slides for cancer diagnosis. We study the effectiveness of our module both in fully-supervised and few-shot learning, we assess its addition to existing attention-based solutions, we conduct ablation studies, and investigate the explainability of our models via class activation maps. Our findings show that our lightweight block extracts meaningful information and improves the overall classification, together with producing more robust predictions that focus on relevant parts of the image. That is crucial in medical imaging, where accurate and reliable classifications are essential for effective diagnosis and treatment planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google