Multimodal Variational Autoencoder for Low-cost Cardiac Hemodynamics Instability Detection

要約

心臓血行動態不安定（CHDI）の非侵襲的検出における最近の進歩は、主に単一のデータモダリティ、例えば心臓磁気共鳴画像（MRI）への機械学習技術の適用に焦点を当てている。その可能性にもかかわらず、これらのアプローチは、特に医療領域で一般的な課題である、ラベル付けされた患者データのサイズが限られている場合には、しばしば不十分である。さらに、CHDIを研究するためにマルチモーダルな方法を検討した研究はわずかであり、そのほとんどは心臓MRIや心エコー図のような高価なモダリティに依存している。このような制約に対して、我々は、大規模なラベルなしデータセットに対する事前学習により、低コストの胸部X線（CXR）と心電図（ECG）を統合する新しいマルチモーダル変分オートエンコーダ（$text{CardioVAE}_text{X,G}$）を提案する。具体的には、$text{CardioVAE}_text{X,G}$は、共有特徴量とモダリティ固有特徴量の両方を学習する新しいトライストリーム事前学習戦略を導入し、ユニモーダルデータセットとマルチモーダルデータセットの両方で微調整を可能にする。MIMICデータベースのサブセットから$50,982$被験者のラベルなし大規模データセットで$text{CardioVAE}_text{X,G}$を事前学習し、ASPIREレジストリから$795$被験者のラベル付きデータセットで事前学習したモデルを微調整する。既存の手法に対する包括的な評価により、$text{CardioVAE}_text{X,G}$は有望な性能（AUROC $=0.79$ and Accuracy $=0.77$ ）を提供し、CHDIの非侵襲的予測における重要な前進を示す。また、我々のモデルは、臨床的特徴に直接関連する予測の細かい解釈を生成することに優れており、それによって臨床的意思決定をサポートする。

要約(オリジナル)

Recent advancements in non-invasive detection of cardiac hemodynamic instability (CHDI) primarily focus on applying machine learning techniques to a single data modality, e.g. cardiac magnetic resonance imaging (MRI). Despite their potential, these approaches often fall short especially when the size of labeled patient data is limited, a common challenge in the medical domain. Furthermore, only a few studies have explored multimodal methods to study CHDI, which mostly rely on costly modalities such as cardiac MRI and echocardiogram. In response to these limitations, we propose a novel multimodal variational autoencoder ($\text{CardioVAE}_\text{X,G}$) to integrate low-cost chest X-ray (CXR) and electrocardiogram (ECG) modalities with pre-training on a large unlabeled dataset. Specifically, $\text{CardioVAE}_\text{X,G}$ introduces a novel tri-stream pre-training strategy to learn both shared and modality-specific features, thus enabling fine-tuning with both unimodal and multimodal datasets. We pre-train $\text{CardioVAE}_\text{X,G}$ on a large, unlabeled dataset of $50,982$ subjects from a subset of MIMIC database and then fine-tune the pre-trained model on a labeled dataset of $795$ subjects from the ASPIRE registry. Comprehensive evaluations against existing methods show that $\text{CardioVAE}_\text{X,G}$ offers promising performance (AUROC $=0.79$ and Accuracy $=0.77$), representing a significant step forward in non-invasive prediction of CHDI. Our model also excels in producing fine interpretations of predictions directly associated with clinical features, thereby supporting clinical decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL