Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning

要約

医療画像の分類は疾患診断の極めて重要な側面であり、多くの場合、ディープラーニング技術によって強化されます。
しかし、従来のアプローチは通常、単峰性の医療画像データに焦点を当てており、多様な非画像患者データの統合を無視しています。
この論文では、マルチモーダル医用画像分類のための新しいクロスグラフ モーダル対照学習 (CGMCL) フレームワークを提案します。
このモデルは、クロスモダリティ グラフを構築し、対照学習を活用してマルチモーダルな特徴を共有潜在空間に位置合わせすることにより、画像データと非画像データの両方を効果的に統合します。
モダリティ間特徴スケーリング モジュールは、異種モダリティ間のギャップを削減することにより、表現学習プロセスをさらに最適化します。
提案されたアプローチは、パーキンソン病 (PD) データセットと公開黒色腫データセットの 2 つのデータセットで評価されます。
結果は、CGMCL が精度、解釈可能性、早期疾患予測の点で従来の単峰性手法よりも優れていることを示しています。
さらに、この方法は、複数クラスの黒色腫分類において優れたパフォーマンスを示します。
CGMCL フレームワークは、医療画像分類に関する貴重な洞察を提供すると同時に、疾患の解釈可能性と予測機能を向上させます。

要約(オリジナル)

The classification of medical images is a pivotal aspect of disease diagnosis, often enhanced by deep learning techniques. However, traditional approaches typically focus on unimodal medical image data, neglecting the integration of diverse non-image patient data. This paper proposes a novel Cross-Graph Modal Contrastive Learning (CGMCL) framework for multimodal medical image classification. The model effectively integrates both image and non-image data by constructing cross-modality graphs and leveraging contrastive learning to align multimodal features in a shared latent space. An inter-modality feature scaling module further optimizes the representation learning process by reducing the gap between heterogeneous modalities. The proposed approach is evaluated on two datasets: a Parkinson’s disease (PD) dataset and a public melanoma dataset. Results demonstrate that CGMCL outperforms conventional unimodal methods in accuracy, interpretability, and early disease prediction. Additionally, the method shows superior performance in multi-class melanoma classification. The CGMCL framework provides valuable insights into medical image classification while offering improved disease interpretability and predictive capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google