Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning

要約

医療画像の分類は、疾患診断の極めて重要な側面であり、多くの場合、深い学習技術によって強化されます。
ただし、従来のアプローチは通常、単峰性の医療画像データに焦点を当てており、多様な非イメージ患者データの統合を無視しています。
このペーパーでは、医療画像分類を改善するために、異なるデータドメインからのマルチモーダル構造データの新しいクロスグラフモーダルコントラスト学習（CGMCL）フレームワークを提案します。
このモデルは、クロスモダリティグラフを構築し、対照的な学習を活用して共有潜在空間にマルチモーダル機能を調整することにより、画像と非画像の両方のデータを効果的に統合します。
モダリティ間の機能スケーリングモジュールは、不均一なモダリティ間のギャップを削減することにより、表現学習プロセスをさらに最適化します。
提案されたアプローチは、2つのデータセットで評価されます：パーキンソン病（PD）データセットと公共黒色腫データセット。
結果は、CGMCLが、精度、解釈可能性、および早期疾患の予測で従来の単峰性の方法よりも優れていることを示しています。
さらに、この方法は、マルチクラス黒色腫分類における優れた性能を示しています。
CGMCLフレームワークは、医療画像分類に関する貴重な洞察を提供し、疾患の解釈可能性と予測能力を改善します。

要約(オリジナル)

The classification of medical images is a pivotal aspect of disease diagnosis, often enhanced by deep learning techniques. However, traditional approaches typically focus on unimodal medical image data, neglecting the integration of diverse non-image patient data. This paper proposes a novel Cross-Graph Modal Contrastive Learning (CGMCL) framework for multimodal structured data from different data domains to improve medical image classification. The model effectively integrates both image and non-image data by constructing cross-modality graphs and leveraging contrastive learning to align multimodal features in a shared latent space. An inter-modality feature scaling module further optimizes the representation learning process by reducing the gap between heterogeneous modalities. The proposed approach is evaluated on two datasets: a Parkinson’s disease (PD) dataset and a public melanoma dataset. Results demonstrate that CGMCL outperforms conventional unimodal methods in accuracy, interpretability, and early disease prediction. Additionally, the method shows superior performance in multi-class melanoma classification. The CGMCL framework provides valuable insights into medical image classification while offering improved disease interpretability and predictive capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google