CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection

要約

解剖学的構造の評価に顕著な臨床的影響を示す公開データセットが増加している。しかし、それぞれのデータセットは小さく、部分的にラベル付けされており、重度の腫瘍を対象として調査することはほとんどない。さらに、現在のモデルは特定の臓器/腫瘍のセグメンテーションに限定されており、新しいドメインやクラスへの拡張は不可能である。そこで、我々はCLIP（Contrastive Language-Image Pre-training）から学習した埋め込みをセグメンテーションモデルに導入し、CLIP-Driven Universal Modelと名づけた。ユニバーサルモデルは、腹部構造間の意味的関係を利用することで、25の臓器と6種類の腫瘍をより適切にセグメンテーションすることができる。このモデルは、3,410枚のCTスキャンを含む14のデータセットの集合体から開発され、3つのデータセットから6,162枚の外部CTスキャンで評価された。Beyond The Cranial Vault (BTCV)において、最先端の結果を得ることができた。データセット固有のモデルと比較して、ユニバーサルモデルは計算効率が高く（6倍速）、様々な部位からのCTスキャンに対してより良く一般化し、新規タスクに対してより強い転移学習性能を示す。CLIPエンベッディングの設計により、ユニバーサルモデルは、以前に学習したクラスを壊滅的に忘れることなく、新しいクラスに容易に拡張することが可能である。

要約(オリジナル)

An increasing number of public datasets have shown a marked clinical impact on assessing anatomical structures. However, each of the datasets is small, partially labeled, and rarely investigates severe tumor subjects. Moreover, current models are limited to segmenting specific organs/tumors, which can not be extended to novel domains and classes. To tackle these limitations, we introduce embedding learned from Contrastive Language-Image Pre-training (CLIP) to segmentation models, dubbed the CLIP-Driven Universal Model. The Universal Model can better segment 25 organs and 6 types of tumors by exploiting the semantic relationship between abdominal structures. The model is developed from an assembly of 14 datasets with 3,410 CT scans and evaluated on 6,162 external CT scans from 3 datasets. We achieve the state-of-the-art results on Beyond The Cranial Vault (BTCV). Compared with dataset-specific models, the Universal Model is computationally more efficient (6x faster), generalizes better to CT scans from varying sites, and shows stronger transfer learning performance on novel tasks. The design of CLIP embedding enables the Universal Model to be easily extended to new classes without catastrophically forgetting the previously learned classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL