Multi-modal Evidential Fusion Network for Trusted PET/CT Tumor Segmentation

要約

PET/CT 画像における腫瘍の正確なセグメンテーションは、コンピューター支援によるがんの診断と治療において重要です。
このようなセグメンテーション問題の重要な問題は、PET と CT 画像からの相補的な情報を効果的に統合することにあります。
ただし、PET および CT 画像の品質は臨床現場で大きく異なるため、ネットワークによって抽出されるモダリティ情報が不確実になります。
マルチモーダル情報融合における不確実性を考慮するために、本論文では、クロスモーダル特徴学習(CFL)モジュールとマルチモーダル信頼融合(MTF)モジュールで構成される新しいマルチモーダル証拠融合ネットワーク(MEFN)を提案する。
CFL モジュールは、モダリティ変換時にドメイン ギャップを削減し、共通の腫瘍特徴を強調表示するため、モダリティの特異性を処理するためのセグメンテーション モジュールの必要性が軽減されます。
MTF モジュールは、相互注意メカニズムと不確実性キャリブレーターを利用して、モダリティの不確実性に基づいてモダリティの特徴を融合し、デンプスター・シェーファー理論の指導の下でセグメンテーションの結果を融合します。
さらに、新しい不確実性知覚損失が導入され、モデルが不確実な特徴に焦点を合わせるようになり、信頼できるモダリティ情報を抽出する能力が向上します。
私たちが提案する方法のパフォーマンスを評価するために、2 つの公的に利用可能な PET/CT データセットに対して広範な比較実験が行われ、その結果は、私たちの MEFN が最先端の方法を大幅に上回り、DSC スコアが 2.15% および 3.23% 向上したことを示しています。
それぞれ AutoPET データセットと Hecktor データセット。
さらに重要なことは、私たちのモデルは、自動セグメンテーション結果を受け入れるか拒否するかを決定する際に、放射線科医にセグメンテーション結果の信頼できる不確実性を提供できることです。これは臨床応用にとって特に重要です。
私たちのコードは https://github.com/QPaws/MEFN で入手できます。

要約(オリジナル)

Accurate segmentation of tumors in PET/CT images is important in computer-aided diagnosis and treatment of cancer. The key issue of such a segmentation problem lies in the effective integration of complementary information from PET and CT images. However, the quality of PET and CT images varies widely in clinical settings, which leads to uncertainty in the modality information extracted by networks. To take the uncertainty into account in multi-modal information fusion, this paper proposes a novel Multi-modal Evidential Fusion Network (MEFN) comprising a Cross-Modal Feature Learning (CFL) module and a Multi-modal Trusted Fusion (MTF) module. The CFL module reduces the domain gap upon modality conversion and highlights common tumor features, thereby alleviating the needs of the segmentation module to handle modality specificity. The MTF module utilizes mutual attention mechanisms and an uncertainty calibrator to fuse modality features based on modality uncertainty and then fuse the segmentation results under the guidance of Dempster-Shafer Theory. Besides, a new uncertainty perceptual loss is introduced to force the model focusing on uncertain features and hence improve its ability to extract trusted modality information. Extensive comparative experiments are conducted on two publicly available PET/CT datasets to evaluate the performance of our proposed method whose results demonstrate that our MEFN significantly outperforms state-of-the-art methods with improvements of 2.15% and 3.23% in DSC scores on the AutoPET dataset and the Hecktor dataset, respectively. More importantly, our model can provide radiologists with credible uncertainty of the segmentation results for their decision in accepting or rejecting the automatic segmentation results, which is particularly important for clinical applications. Our code will be available at https://github.com/QPaws/MEFN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google