Cross-modality Attention Adapter: A Glioma Segmentation Fine-tuning Method for SAM Using Multimodal Brain MR Images

要約

2021 年の世界保健機関 (WHO) の神経膠腫分類スキームによると、神経膠腫のセグメント化は診断と遺伝子型予測の非常に重要な基礎となります。
一般に、3D マルチモーダル脳 MRI は効果的な診断ツールです。
過去 10 年間で、医療画像処理における機械学習、特にディープ ラーニングの使用が増加しました。
基礎モデルの開発のおかげで、大規模なデータセットで事前トレーニングされたモデルは、さまざまなタスクでより良い結果を達成しました。
ただし、データセット サイズが小さい医療画像の場合、ディープ ラーニング手法は、現実世界の画像データセットでより良い結果を達成するのに苦労します。
この論文では、マルチモーダル MRI 脳画像における神経膠腫セグメンテーションのタスクをより良い結果で達成するために、基礎モデルを微調整するためのマルチモーダル融合に基づくクロスモダリティ アテンション アダプターを提案します。
提案された方法の有効性は、中国鄭州にある鄭州大学第一付属病院 (FHZU) からの当社のプライベート神経膠腫データセットによって検証されています。
私たちが提案した方法は、Dice が 88.38%、ハウスドルフ距離が 10.64 で、現在の最先端の方法よりも優れており、神経膠腫治療のために神経膠腫領域をセグメント化するための Dice が 4% 増加しています。

要約(オリジナル)

According to the 2021 World Health Organization (WHO) Classification scheme for gliomas, glioma segmentation is a very important basis for diagnosis and genotype prediction. In general, 3D multimodal brain MRI is an effective diagnostic tool. In the past decade, there has been an increase in the use of machine learning, particularly deep learning, for medical images processing. Thanks to the development of foundation models, models pre-trained with large-scale datasets have achieved better results on a variety of tasks. However, for medical images with small dataset sizes, deep learning methods struggle to achieve better results on real-world image datasets. In this paper, we propose a cross-modality attention adapter based on multimodal fusion to fine-tune the foundation model to accomplish the task of glioma segmentation in multimodal MRI brain images with better results. The effectiveness of the proposed method is validated via our private glioma data set from the First Affiliated Hospital of Zhengzhou University (FHZU) in Zhengzhou, China. Our proposed method is superior to current state-of-the-art methods with a Dice of 88.38% and Hausdorff distance of 10.64, thereby exhibiting a 4% increase in Dice to segment the glioma region for glioma treatment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google