Towards a vision foundation model for comprehensive assessment of Cardiac MRI

要約

心臓磁気共鳴画像法 (CMR) は、非侵襲的心臓評価のゴールドスタンダードと考えられており、心臓の形態と機能を包括的に評価するためにさまざまな画像処理タスクを必要とする多様で複雑なモダリティです。
深層学習の進歩により、これらのタスク用の最先端 (SoTA) モデルの開発が可能になりました。
ただし、特に一般的ではないイメージング シーケンスでは、データとラベルが不足しているため、モデルのトレーニングは困難です。
さらに、各モデルは多くの場合、関連するタスク間のつながりを持たずに、特定のタスク用にトレーニングされます。
この研究では、CMR 評価用にトレーニングされた視覚基盤モデルを導入します。このモデルは、3,600 万枚の CMR 画像を使用して自己教師付き方法でトレーニングされます。
次に、分類、セグメンテーション、ランドマークの位置特定、病理検出にわたる、CMR ワークフローに典型的な 9 つの臨床タスクに合わせて、教師付きの方法でモデルを微調整します。
利用可能なラベル付きデータセット サイズの範囲にわたって、すべてのタスクにわたって精度と堅牢性が向上していることを実証します。
また、医療画像解析における一般的な課題である、ラベル付けされたサンプルを減らして改善された少数ショット学習も実証します。
ほとんどの臨床タスクにおいて、SoTA に匹敵するすぐに使えるパフォーマンスを実現します。
したがって、提案された方法は、CMR 評価のためのリソース効率の高い統合フレームワークを提供し、利用可能な注釈付きデータがほとんどない場合でも、画像分析タスク用の深層学習ベースのソリューションの開発を加速する可能性があります。

要約(オリジナル)

Cardiac magnetic resonance imaging (CMR), considered the gold standard for noninvasive cardiac assessment, is a diverse and complex modality requiring a wide variety of image processing tasks for comprehensive assessment of cardiac morphology and function. Advances in deep learning have enabled the development of state-of-the-art (SoTA) models for these tasks. However, model training is challenging due to data and label scarcity, especially in the less common imaging sequences. Moreover, each model is often trained for a specific task, with no connection between related tasks. In this work, we introduce a vision foundation model trained for CMR assessment, that is trained in a self-supervised fashion on 36 million CMR images. We then finetune the model in supervised way for 9 clinical tasks typical to a CMR workflow, across classification, segmentation, landmark localization, and pathology detection. We demonstrate improved accuracy and robustness across all tasks, over a range of available labeled dataset sizes. We also demonstrate improved few-shot learning with fewer labeled samples, a common challenge in medical image analyses. We achieve an out-of-box performance comparable to SoTA for most clinical tasks. The proposed method thus presents a resource-efficient, unified framework for CMR assessment, with the potential to accelerate the development of deep learning-based solutions for image analysis tasks, even with few annotated data available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google