Vision Foundation Models for Computed Tomography

要約

財団モデル (FM) は、画像診断モダリティ全体で多様で複雑なタスクを実行することにより、放射線医学に変革をもたらす可能性を示しています。
ここでは、さまざまな放射線タスク用に明示的に設計された大規模な 3D 画像ベースの事前トレーニング済みモデルである CT-FM を開発しました。
CT-FM は、イメージング データ コモンズからの 148,000 件のコンピューター断層撮影 (CT) スキャンを使用して、ラベルに依存しない対比学習を通じて事前トレーニングされました。
私たちは、全身および腫瘍のセグメンテーション、頭部 CT トリアージ、医療画像検索、意味理解という 4 つのタスク カテゴリにわたって CT-FM を評価し、最先端のモデルに対して優れたパフォーマンスを示しました。
CT-FM は定量的な成功を超えて、領域を解剖学的にクラスタリングし、スキャン全体で同様の解剖学的および構造的概念を特定する能力を実証しました。
さらに、テストと再テストの設定全体にわたって堅牢性を維持し、その埋め込みに付加された合理的な顕著領域を示しました。
この研究は、大規模な医療画像基盤モデルの価値を実証し、モデルの重み付け、コード、データをオープンソース化することで、放射線医学におけるより適応性があり、信頼性が高く、解釈可能な AI ソリューションをサポートすることを目的としています。

要約(オリジナル)

Foundation models (FMs) have shown transformative potential in radiology by performing diverse, complex tasks across imaging modalities. Here, we developed CT-FM, a large-scale 3D image-based pre-trained model designed explicitly for various radiological tasks. CT-FM was pre-trained using 148,000 computed tomography (CT) scans from the Imaging Data Commons through label-agnostic contrastive learning. We evaluated CT-FM across four categories of tasks, namely, whole-body and tumor segmentation, head CT triage, medical image retrieval, and semantic understanding, showing superior performance against state-of-the-art models. Beyond quantitative success, CT-FM demonstrated the ability to cluster regions anatomically and identify similar anatomical and structural concepts across scans. Furthermore, it remained robust across test-retest settings and indicated reasonable salient regions attached to its embeddings. This study demonstrates the value of large-scale medical imaging foundation models and by open-sourcing the model weights, code, and data, aims to support more adaptable, reliable, and interpretable AI solutions in radiology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google