Multimodal Variational Autoencoder for Low-cost Cardiac Hemodynamics Instability Detection

要約

心臓血行動態不安定性 (CHDI) の非侵襲的検出における最近の進歩は、主に機械学習技術を単一のデータ モダリティに適用することに焦点を当てています。
心臓磁気共鳴画像法（MRI）。
これらのアプローチは、その可能性にもかかわらず、特にラベル付けされた患者データのサイズが制限されている場合、医療分野でよくある課題である場合には不十分であることがよくあります。
さらに、CHDI を研究するためのマルチモーダルな方法を検討した研究はわずかであり、そのほとんどは心臓 MRI や心エコー図などの高価なモダリティに依存しています。
これらの制限に対応して、低コストの胸部 X 線 (CXR) および心電図 (ECG) モダリティを事前に統合する新しいマルチモーダル変分オートエンコーダ ($\text{CardioVAE}_\text{X,G}$) を提案します。
-大規模なラベルのないデータセットでのトレーニング。
具体的には、$\text{CardioVAE}_\text{X,G}$ は、共有機能とモダリティ固有の機能の両方を学習するための新しいトライストリーム事前トレーニング戦略を導入し、ユニモーダル データセットとマルチモーダル データセットの両方での微調整を可能にします。
MIMIC データベースのサブセットから $50,982$ の被験者を含む大規模なラベルなしデータセットで $\text{CardioVAE}_\text{X,G}$ を事前トレーニングし、ラベル付きデータセットで事前トレーニングされたモデルを微調整します。
ASPIRE レジストリからの $795$ の対象者。
既存の方法に対する包括的な評価では、$\text{CardioVAE}_\text{X,G}$ が有望なパフォーマンス (AUROC $=0.79$ および精度 $=0.77$) を提供することが示されており、非侵襲的予測における大幅な前進を示しています。
CHDI。
また、私たちのモデルは、臨床的特徴に直接関連する予測を正確に解釈することにも優れており、それによって臨床上の意思決定をサポートします。

要約(オリジナル)

Recent advancements in non-invasive detection of cardiac hemodynamic instability (CHDI) primarily focus on applying machine learning techniques to a single data modality, e.g. cardiac magnetic resonance imaging (MRI). Despite their potential, these approaches often fall short especially when the size of labeled patient data is limited, a common challenge in the medical domain. Furthermore, only a few studies have explored multimodal methods to study CHDI, which mostly rely on costly modalities such as cardiac MRI and echocardiogram. In response to these limitations, we propose a novel multimodal variational autoencoder ($\text{CardioVAE}_\text{X,G}$) to integrate low-cost chest X-ray (CXR) and electrocardiogram (ECG) modalities with pre-training on a large unlabeled dataset. Specifically, $\text{CardioVAE}_\text{X,G}$ introduces a novel tri-stream pre-training strategy to learn both shared and modality-specific features, thus enabling fine-tuning with both unimodal and multimodal datasets. We pre-train $\text{CardioVAE}_\text{X,G}$ on a large, unlabeled dataset of $50,982$ subjects from a subset of MIMIC database and then fine-tune the pre-trained model on a labeled dataset of $795$ subjects from the ASPIRE registry. Comprehensive evaluations against existing methods show that $\text{CardioVAE}_\text{X,G}$ offers promising performance (AUROC $=0.79$ and Accuracy $=0.77$), representing a significant step forward in non-invasive prediction of CHDI. Our model also excels in producing fine interpretations of predictions directly associated with clinical features, thereby supporting clinical decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google