MMFusion: Multi-modality Diffusion Model for Lymph Node Metastasis Diagnosis in Esophageal Cancer

要約

食道がんは、世界中で最も一般的ながんの種類の 1 つであり、がん関連死亡率では 6 位にランクされています。
コンピュータ支援によるがん進行の正確な診断は、医師が個別の治療計画を効果的にカスタマイズするのに役立ちます。
現在、患者の状態を総合的に診断できるCTを利用したがん診断法が注目を集めています。
ただし、マルチモーダルベースの方法では情報の冗長性が生じ、パフォーマンスが低下する可能性があります。
さらに、マルチモダリティ表現間の効率的かつ効果的な相互作用をさらに調査する必要があり、マルチモダリティ特徴における予後相関の洞察力に富んだ調査が不足しています。
この研究では、CT画像、臨床測定値、ラジオミクスデータに基づくリンパ節転移診断のための、マルチモーダル異種グラフベースの条件付き特徴誘導拡散モデルを紹介します。
マルチモーダルな特徴間の複雑な関係を調査するために、異種グラフを構築します。
これに続いて、条件付き特徴誘導拡散アプローチが適用され、情報の冗長性が排除されます。
さらに、原発腫瘍とリンパ節の画像表現の潜在的な予後相関と優先順位を明らかにすることを目的とした、マスクされた関係表現学習戦略を提案します。
さまざまな実験結果により、提案手法の有効性が検証されています。
コードは https://github.com/wchengyu123/MMFusion で入手できます。

要約(オリジナル)

Esophageal cancer is one of the most common types of cancer worldwide and ranks sixth in cancer-related mortality. Accurate computer-assisted diagnosis of cancer progression can help physicians effectively customize personalized treatment plans. Currently, CT-based cancer diagnosis methods have received much attention for their comprehensive ability to examine patients’ conditions. However, multi-modal based methods may likely introduce information redundancy, leading to underperformance. In addition, efficient and effective interactions between multi-modal representations need to be further explored, lacking insightful exploration of prognostic correlation in multi-modality features. In this work, we introduce a multi-modal heterogeneous graph-based conditional feature-guided diffusion model for lymph node metastasis diagnosis based on CT images as well as clinical measurements and radiomics data. To explore the intricate relationships between multi-modal features, we construct a heterogeneous graph. Following this, a conditional feature-guided diffusion approach is applied to eliminate information redundancy. Moreover, we propose a masked relational representation learning strategy, aiming to uncover the latent prognostic correlations and priorities of primary tumor and lymph node image representations. Various experimental results validate the effectiveness of our proposed method. The code is available at https://github.com/wuchengyu123/MMFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google