EchoApex: A General-Purpose Vision Foundation Model for Echocardiography

要約

心エコー検査の定量的評価は、心臓の状態を正確に評価し、病気の進行を監視し、治療法を決定するために不可欠です。
プローブの種類、メーカー、病状の違いなど、エコー画像の性質は多様であるため、さまざまな臨床現場で一般化できる人工知能モデルの開発には課題が生じています。
さまざまな臨床現場で応用できる初の汎用視覚基盤モデル心エコー検査である EchoApex を紹介します。
EchoApex は自己教師あり学習を活用し、11 の臨床センターからの 2,000 万枚を超えるエコー画像で事前トレーニングされています。
タスク固有のデコーダーとアダプター モジュールを組み込むことで、ビュー分類、インタラクティブな構造セグメンテーション、左心室肥大検出、ビュー シーケンスからの自動駆出率推定など、28 のサブタスクを含む 4 つの異なる種類の臨床アプリケーションにおける EchoApex の有効性を実証します。
最先端のタスク固有モデルと比較して、EchoApex は統合された画像エンコード アーキテクチャによりパフォーマンスの向上を実現し、ドメイン内データを使用した大規模なモデルの事前トレーニングの利点を示しています。
さらに、EchoApex は、高効率と有効性で多様な臨床アプリケーションに対処できる、心エコー検査専用に調整された汎用視覚基盤モデルを開発する可能性を示しています。

要約(オリジナル)

Quantitative evaluation of echocardiography is essential for precise assessment of cardiac condition, monitoring disease progression, and guiding treatment decisions. The diverse nature of echo images, including variations in probe types, manufacturers, and pathologies, poses challenges for developing artificial intelligent models that can generalize across different clinical practice. We introduce EchoApex, the first general-purpose vision foundation model echocardiography with applications on a variety of clinical practice. Leveraging self-supervised learning, EchoApex is pretrained on over 20 million echo images from 11 clinical centres. By incorporating task-specific decoders and adapter modules, we demonstrate the effectiveness of EchoApex on 4 different kind of clinical applications with 28 sub-tasks, including view classification, interactive structure segmentation, left ventricle hypertrophy detection and automated ejection fraction estimation from view sequences. Compared to state-of-the-art task-specific models, EchoApex attains improved performance with a unified image encoding architecture, demonstrating the benefits of model pretraining at scale with in-domain data. Furthermore, EchoApex illustrates the potential for developing a general-purpose vision foundation model tailored specifically for echocardiography, capable of addressing a diverse range of clinical applications with high efficiency and efficacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google