Cross-Modal Interactive Perception Network with Mamba for Lung Tumor Segmentation in PET-CT Images

要約

肺がんは、世界的に癌関連の死亡の主な原因です。
PET-CTは、肺腫瘍のイメージングに不可欠であり、不可欠な代謝および解剖学的情報を提供しますが、画質の低下、モーションアーティファクト、複雑な腫瘍形態などの課題に直面しています。
深い学習ベースのモデルはこれらの問題に対処することが期待されていますが、既存の小規模およびプライベートデータセットは、これらの方法の大幅なパフォーマンスの改善を制限します。
したがって、605人の患者からの21,930ペアのPET-CT画像で構成されるPCLT20Kと呼ばれる大規模なPET-CT肺腫瘍セグメンテーションデータセットを導入します。
さらに、PET-CT画像の肺腫瘍のセグメンテーションのために、Mamba（CIPA）とのクロスモーダルインタラクティブな知覚ネットワークを提案します。
具体的には、相関表現を学習し、モダリティ固有のノイズを除外するのに役立つマルチモーダル機能全体にチャネル状態空間ブロックを実装するチャネルごとの修正モジュール（CRM）を設計します。
動的なクロスモダリティインタラクションモジュール（DCIM）は、ポジションとコンテキスト情報を効果的に統合するように設計されています。これは、PET画像を使用して地域の位置情報を学習し、CT画像のローカルな特徴のモデル化を支援するブリッジとして機能します。
包括的なベンチマークでの広範な実験は、現在の最先端のセグメンテーション方法と比較して、CIPAの有効性を示しています。
私たちの研究が、医療画像のセグメンテーションのためのより多くの探査の機会を提供できることを願っています。
データセットとコードはhttps://github.com/mj129/cipaで入手できます。

要約(オリジナル)

Lung cancer is a leading cause of cancer-related deaths globally. PET-CT is crucial for imaging lung tumors, providing essential metabolic and anatomical information, while it faces challenges such as poor image quality, motion artifacts, and complex tumor morphology. Deep learning-based models are expected to address these problems, however, existing small-scale and private datasets limit significant performance improvements for these methods. Hence, we introduce a large-scale PET-CT lung tumor segmentation dataset, termed PCLT20K, which comprises 21,930 pairs of PET-CT images from 605 patients. Furthermore, we propose a cross-modal interactive perception network with Mamba (CIPA) for lung tumor segmentation in PET-CT images. Specifically, we design a channel-wise rectification module (CRM) that implements a channel state space block across multi-modal features to learn correlated representations and helps filter out modality-specific noise. A dynamic cross-modality interaction module (DCIM) is designed to effectively integrate position and context information, which employs PET images to learn regional position information and serves as a bridge to assist in modeling the relationships between local features of CT images. Extensive experiments on a comprehensive benchmark demonstrate the effectiveness of our CIPA compared to the current state-of-the-art segmentation methods. We hope our research can provide more exploration opportunities for medical image segmentation. The dataset and code are available at https://github.com/mj129/CIPA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google