Fusing Echocardiography Images and Medical Records for Continuous Patient Stratification

要約

深層学習により、駆出率や緊張などの心エコー検査シーケンスから心機能記述子を自動的かつ堅牢に抽出できます。
これらの記述子は、医師が患者の状態を評価するために臨床記録からのよりグローバルな変数と組み合わせて考慮する詳細な情報を提供します。
表形式のデータに適用された新しい変換モデルを利用して、医療記録と心エコー図から抽出されたすべての記述子を考慮して、特徴付けが困難な連続体を持つ心血管病理、つまり高血圧の表現を学習する方法を提案します。
私たちの方法では、まずモダリティ固有のアプローチを使用して、各変数を独自の表現空間に投影します。
次に、これらのマルチモーダル データの標準化された表現がトランスフォーマー エンコーダーに供給され、トランスフォーマー エンコーダーは、臨床評価を予測するタスクを通じて、それらを統合して患者の包括的な表現を学習します。
この階層化タスクは、表現空間内で病理学的連続体を強制するための順序分類として定式化されます。
私たちは、239 人の高血圧患者のコホートでこの一連の流れに沿った主要な傾向を観察し、さまざまな心機能記述子に対する高血圧の影響について前例のない詳細を提供します。
私たちの分析では、i) XTab 基礎モデルのアーキテクチャにより、限られたデータ (トレーニング サンプル数 200 未満) であっても優れたパフォーマンス (98% AUROC) を達成できること、ii) 母集団全体の階層化がトレーニング間で再現可能であること (MAE 3.6% 以内)、
iii) 記述子にパターンが出現し、その一部は高血圧に関する確立された生理学的知識と一致する一方、他のものはこの病態のより包括的な理解への道を開く可能性があります。

要約(オリジナル)

Deep learning enables automatic and robust extraction of cardiac function descriptors from echocardiographic sequences, such as ejection fraction or strain. These descriptors provide fine-grained information that physicians consider, in conjunction with more global variables from the clinical record, to assess patients’ condition. Drawing on novel transformer models applied to tabular data, we propose a method that considers all descriptors extracted from medical records and echocardiograms to learn the representation of a cardiovascular pathology with a difficult-to-characterize continuum, namely hypertension. Our method first projects each variable into its own representation space using modality-specific approaches. These standardized representations of multimodal data are then fed to a transformer encoder, which learns to merge them into a comprehensive representation of the patient through the task of predicting a clinical rating. This stratification task is formulated as an ordinal classification to enforce a pathological continuum in the representation space. We observe the major trends along this continuum on a cohort of 239 hypertensive patients, providing unprecedented details in the description of hypertension’s impact on various cardiac function descriptors. Our analysis shows that i) the XTab foundation model’s architecture allows to reach outstanding performance (98% AUROC) even with limited data (less than 200 training samples), ii) stratification across the population is reproducible between trainings (within 3.6% MAE), and iii) patterns emerge in descriptors, some of which align with established physiological knowledge about hypertension, while others could pave the way for a more comprehensive understanding of this pathology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google