MAPUNetR: A Hybrid Vision Transformer and U-Net Architecture for Efficient and Interpretable Medical Image Segmentation

要約

医療画像のセグメンテーションは医療において極めて重要であり、診断の精度を高め、治療戦略の情報を提供し、病気の進行を追跡します。
このプロセスにより、臨床医は視覚データから重要な情報を抽出できるようになり、個別化された患者ケアが可能になります。
しかし、セグメンテーション用のニューラル ネットワークの開発は、特に診断に影響を与える微妙な詳細を検出するために不可欠な画像解像度を維持する場合、依然として困難です。
さらに、これらの深層学習モデルには透明性が欠如しているため、臨床現場での採用が遅れています。
モデルの解釈可能性に関する取り組みは、これらのモデルの意思決定プロセスをより透明にすることにますます重点が置かれています。
このペーパーでは、変換モデルの長所と医療画像セグメンテーション用の実証済みの U-Net フレームワークを相乗させる新しいアーキテクチャである MAPUNetR を紹介します。
私たちのモデルは解像度維持の課題に対処し、セグメント化された領域を強調表示するアテンション マップを組み込んで、精度と解釈可能性を向上させます。
BraTS 2020 データセットで評価した MAPUNetR は、ISIC 2018 データセットでサイコロ スコア 0.88、サイコロ係数 0.92 を達成しました。
私たちの実験は、このモデルが安定したパフォーマンスを維持し、臨床現場での医療画像セグメンテーションの強力なツールとしての可能性を示していることを示しています。

要約(オリジナル)

Medical image segmentation is pivotal in healthcare, enhancing diagnostic accuracy, informing treatment strategies, and tracking disease progression. This process allows clinicians to extract critical information from visual data, enabling personalized patient care. However, developing neural networks for segmentation remains challenging, especially when preserving image resolution, which is essential in detecting subtle details that influence diagnoses. Moreover, the lack of transparency in these deep learning models has slowed their adoption in clinical practice. Efforts in model interpretability are increasingly focused on making these models’ decision-making processes more transparent. In this paper, we introduce MAPUNetR, a novel architecture that synergizes the strengths of transformer models with the proven U-Net framework for medical image segmentation. Our model addresses the resolution preservation challenge and incorporates attention maps highlighting segmented regions, increasing accuracy and interpretability. Evaluated on the BraTS 2020 dataset, MAPUNetR achieved a dice score of 0.88 and a dice coefficient of 0.92 on the ISIC 2018 dataset. Our experiments show that the model maintains stable performance and potential as a powerful tool for medical image segmentation in clinical practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google