MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report

要約

この論文では、X 線、心電図 (ECG)、および放射線学/心臓病学のレポートを相乗的に組み合わせる、新しいマルチモーダル造影事前トレーニング フレームワークを紹介します。
私たちのアプローチは、トランスフォーマーを活用してこれらの多様なモダリティを統一された表現空間にエンコードし、診断精度を高め、包括的な患者評価を促進することを目指しています。
LoRA-Peft を利用して LLM のトレーニング可能なパラメータを大幅に削減し、視覚トランスフォーマー (ViT) に最近の線形注意低下戦略を組み込んで、よりスムーズな注意を実現します。
さらに、モデルに対して新しいマルチモーダルな注意の説明と検索を提供します。
私たちの知る限り、X 線、ECG、および放射線科/心臓病レポートとこのアプローチを組み合わせた統合モデルを提案したのは当社が初めてです。
MoRE は、コントラスト損失を利用することで、モダリティ固有の特徴をコヒーレントな埋め込みに効果的に調整し、ゼロショット分類やマルチモーダル検索などのさまざまな下流タスクをサポートします。
私たちが提案した方法論を採用することで、Mimic-IV、CheXpert、浮腫重症度、および PtbXl の下流データセットで、既存のマルチモーダル アプローチを超える最先端 (SOTA) を実現します。
私たちが提案したフレームワークは、複雑なモード間の関係の把握と医療診断における堅牢性の大幅な改善を示しており、医療分野におけるマルチモーダル学習の将来の研究のフレームワークを確立します。

要約(オリジナル)

In this paper, we introduce a novel Multi-Modal Contrastive Pre-training Framework that synergistically combines X-rays, electrocardiograms (ECGs), and radiology/cardiology reports. Our approach leverages transformers to encode these diverse modalities into a unified representation space, aiming to enhance diagnostic accuracy and facilitate comprehensive patient assessments. We utilize LoRA-Peft to significantly reduce trainable parameters in the LLM and incorporate recent linear attention dropping strategy in the Vision Transformer(ViT) for smoother attention. Furthermore, we provide novel multimodal attention explanations and retrieval for our model. To the best of our knowledge, we are the first to propose an integrated model that combines X-ray, ECG, and Radiology/Cardiology Report with this approach. By utilizing contrastive loss, MoRE effectively aligns modality-specific features into a coherent embedding, which supports various downstream tasks such as zero-shot classification and multimodal retrieval. Employing our proposed methodology, we achieve state-of-the-art (SOTA) on the Mimic-IV, CheXpert, Edema Severity, and PtbXl downstream datasets, surpassing existing multimodal approaches. Our proposed framework shows significant improvements in capturing intricate inter-modal relationships and its robustness in medical diagnosis that establishes a framework for future research in multimodal learning in the healthcare sector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google