COIN: Counterfactual inpainting for weakly supervised semantic segmentation for medical images

要約

ディープラーニングは医療画像と放射線学の分野を劇的に変革し、コンピューター断層撮影 (CT) や X 線スキャンなどの医療画像内の病状の特定を可能にします。
ただし、特にセグメンテーション タスクにおける深層学習モデルのパフォーマンスは、大規模な注釈付きデータセットの必要性によって制限されることがよくあります。
この課題に対処するために、弱く監視されたセマンティック セグメンテーションの機能が、Explainable AI と反事実的な説明の生成というレンズを通して研究されています。
この研究の範囲は、生成モデルを使用して、予測された分類ラベルを異常から正常に反転する、新しい反事実修復アプローチ (COIN) の開発です。
たとえば、分類器が入力医用画像 X を病状の存在を示す異常であるとみなした場合、生成モデルは異常領域を修復し、分類器の元の予測ラベルを反転することを目的とします。
このアプローチにより、既存のセグメンテーション マスクに依存せずに、病状の正確なセグメンテーションを生成できます。
重要なのは、画像レベルのラベルが利用されることです。これは、詳細なセグメンテーション マスクを作成するよりも取得が大幅に簡単です。
この方法の有効性は、エストニアのタルトゥ大学病院から取得した CT 画像から合成ターゲットと実際の腎臓腫瘍をセグメント化することによって実証されます。
この調査結果は、COIN が RISE、ScoreCAM、LayerCAM などの確立された帰属手法や、Singla らによって導入された代替の反事実説明手法を大幅に上回っていることを示しています。
この証拠は、COIN が CT 画像内の腫瘍のセマンティック セグメンテーションに対する有望なアプローチであることを示唆しており、注釈付きデータが不足している医療分野で深層学習アプリケーションをよりアクセスしやすく効果的にする上での一歩前進となります。

要約(オリジナル)

Deep learning is dramatically transforming the field of medical imaging and radiology, enabling the identification of pathologies in medical images, including computed tomography (CT) and X-ray scans. However, the performance of deep learning models, particularly in segmentation tasks, is often limited by the need for extensive annotated datasets. To address this challenge, the capabilities of weakly supervised semantic segmentation are explored through the lens of Explainable AI and the generation of counterfactual explanations. The scope of this research is development of a novel counterfactual inpainting approach (COIN) that flips the predicted classification label from abnormal to normal by using a generative model. For instance, if the classifier deems an input medical image X as abnormal, indicating the presence of a pathology, the generative model aims to inpaint the abnormal region, thus reversing the classifier’s original prediction label. The approach enables us to produce precise segmentations for pathologies without depending on pre-existing segmentation masks. Crucially, image-level labels are utilized, which are substantially easier to acquire than creating detailed segmentation masks. The effectiveness of the method is demonstrated by segmenting synthetic targets and actual kidney tumors from CT images acquired from Tartu University Hospital in Estonia. The findings indicate that COIN greatly surpasses established attribution methods, such as RISE, ScoreCAM, and LayerCAM, as well as an alternative counterfactual explanation method introduced by Singla et al. This evidence suggests that COIN is a promising approach for semantic segmentation of tumors in CT images, and presents a step forward in making deep learning applications more accessible and effective in healthcare, where annotated data is scarce.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google