Towards Cardiac MRI Foundation Models: Comprehensive Visual-Tabular Representations for Whole-Heart Assessment and Beyond

要約

心臓磁気共鳴画像法は、非侵襲的心臓評価のゴールドスタンダードであり、心臓の解剖学と生理学の豊富な時空間的見解を提供します。
人口統計、代謝、ライフスタイルなどの患者レベルの健康要因は、心血管の健康と疾患のリスクに実質的に影響を与えることが知られていますが、CMRだけでは非難のままです。
心臓の健康を全体的に理解し、個人の疾患リスクの可能な限り最良の解釈を可能にするためには、CMRと患者レベルの要因を統合されたフレームワーク内で共同で搾取する必要があります。
最近のマルチモーダルアプローチはこのギャップを埋め始めていますが、彼らはしばしば限られた時空間データに依存し、孤立した臨床タスクに焦点を当てているため、心臓の健康評価のための包括的な表現の開発を妨げます。
これらの制限を克服するために、ヴィタを導入します。これは、心臓の包括的な表現と個々の疾患リスクの正確な解釈を提供する基礎モデルへの一歩です。
VITAは、42,000人の英国のBiobank参加者からのデータを活用して、3D+T Cineスタックを短軸と長軸ビューから統合し、心周期を完全に獲得できるようにします。
これらのイメージングデータは、詳細な表形式の患者レベルの要因と融合し、コンテキストを意識した洞察を可能にします。
このマルチモーダルパラダイムは、単一の統合フレームワーク内の心臓および代謝疾患の心臓の特徴の予測、セグメンテーション、および分類を含む、幅広い下流タスクをサポートしています。
豊富なイメージングの特徴と患者のコンテキストを橋渡しする共有潜在表現を学ぶことにより、VITAは、心臓の健康に関する普遍的な患者固有の理解に向けて、従来のタスク固有のモデルを超えて動き、心臓分析における臨床的有用性とスケーラビリティを前進させる可能性を強調します。

要約(オリジナル)

Cardiac magnetic resonance imaging is the gold standard for non-invasive cardiac assessment, offering rich spatio-temporal views of the cardiac anatomy and physiology. Patient-level health factors, such as demographics, metabolic, and lifestyle, are known to substantially influence cardiovascular health and disease risk, yet remain uncaptured by CMR alone. To holistically understand cardiac health and to enable the best possible interpretation of an individual’s disease risk, CMR and patient-level factors must be jointly exploited within an integrated framework. Recent multi-modal approaches have begun to bridge this gap, yet they often rely on limited spatio-temporal data and focus on isolated clinical tasks, thereby hindering the development of a comprehensive representation for cardiac health evaluation. To overcome these limitations, we introduce ViTa, a step toward foundation models that delivers a comprehensive representation of the heart and a precise interpretation of individual disease risk. Leveraging data from 42,000 UK Biobank participants, ViTa integrates 3D+T cine stacks from short-axis and long-axis views, enabling a complete capture of the cardiac cycle. These imaging data are then fused with detailed tabular patient-level factors, enabling context-aware insights. This multi-modal paradigm supports a wide spectrum of downstream tasks, including cardiac phenotype and physiological feature prediction, segmentation, and classification of cardiac and metabolic diseases within a single unified framework. By learning a shared latent representation that bridges rich imaging features and patient context, ViTa moves beyond traditional, task-specific models toward a universal, patient-specific understanding of cardiac health, highlighting its potential to advance clinical utility and scalability in cardiac analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google