Vision Foundation Models for Computed Tomography

要約

基礎モデル（FMS）は、イメージングのモダリティ全体で多様で複雑なタスクを実行することにより、放射線学の変革の可能性を示しています。
ここでは、さまざまな放射線タスク向けに明示的に設計された大規模な3D画像ベースの事前訓練モデルであるCT-FMを開発しました。
CT-FMは、ラベルに依存しない対照学習を通じて、イメージングデータコモンズからの148,000コンピューター断層撮影（CT）スキャンを使用して事前に訓練されました。
4つのカテゴリのタスク、すなわち全身および腫瘍のセグメンテーション、ヘッドCTトリアージ、医療画像検索、およびセマンティック理解でCT-FMを評価し、最先端のモデルに対する優れたパフォーマンスを示しました。
定量的な成功を超えて、CT-FMは、解剖学的に領域をクラスター化し、スキャン全体で同様の解剖学的および構造的概念を特定する能力を実証しました。
さらに、テストと再テストの設定全体で堅牢なままであり、その埋め込みに付着した合理的な顕著な領域を示しました。
この研究は、大規模な医療イメージング基礎モデルの価値を示し、モデルの重み、コード、データをオープンソースすることにより、放射線学におけるより適応性があり、信頼性が高く、解釈可能なAIソリューションをサポートすることを目的としています。

要約(オリジナル)

Foundation models (FMs) have shown transformative potential in radiology by performing diverse, complex tasks across imaging modalities. Here, we developed CT-FM, a large-scale 3D image-based pre-trained model designed explicitly for various radiological tasks. CT-FM was pre-trained using 148,000 computed tomography (CT) scans from the Imaging Data Commons through label-agnostic contrastive learning. We evaluated CT-FM across four categories of tasks, namely, whole-body and tumor segmentation, head CT triage, medical image retrieval, and semantic understanding, showing superior performance against state-of-the-art models. Beyond quantitative success, CT-FM demonstrated the ability to cluster regions anatomically and identify similar anatomical and structural concepts across scans. Furthermore, it remained robust across test-retest settings and indicated reasonable salient regions attached to its embeddings. This study demonstrates the value of large-scale medical imaging foundation models and by open-sourcing the model weights, code, and data, aims to support more adaptable, reliable, and interpretable AI solutions in radiology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google