CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection

要約

ますます多くの公開データセットが、解剖学的構造の評価に顕著な臨床的影響を示しています。
ただし、各データセットは小さく、部分的にラベル付けされており、重度の腫瘍の被験者を調査することはめったにありません。
さらに、現在のモデルは特定の臓器/腫瘍のセグメント化に限定されており、新しいドメインやクラスに拡張することはできません。
これらの制限に取り組むために、Contrastive Language-Image Pre-training (CLIP) から学習した埋め込みを、CLIP-Driven Universal Model と呼ばれるセグメンテーション モデルに導入します。
ユニバーサル モデルは、腹部構造間の意味関係を活用することで、25 の臓器と 6 種類の腫瘍をより適切にセグメント化できます。
このモデルは、3,410 の CT スキャンを含む 14 のデータセットのアセンブリから開発され、3 つのデータセットからの 6,162 の外部 CT スキャンで評価されます。
当社は、Medical Segmentation Decathlon (MSD) のパブリック リーダーボードで第 1 位にランクされ、Beyond The Cranial Vault (BTCV) で最先端の結果を達成しています。
データセット固有のモデルと比較して、ユニバーサル モデルは計算効率が高く (6 倍高速)、さまざまなサイトからの CT スキャンによりよく一般化され、新しいタスクでより強力な転移学習パフォーマンスを示します。
CLIP 埋め込みの設計により、以前に学習したクラスを壊滅的に忘れることなく、ユニバーサル モデルを新しいクラスに簡単に拡張できます。

要約(オリジナル)

An increasing number of public datasets have shown a marked clinical impact on assessing anatomical structures. However, each of the datasets is small, partially labeled, and rarely investigates severe tumor subjects. Moreover, current models are limited to segmenting specific organs/tumors, which can not be extended to novel domains and classes. To tackle these limitations, we introduce embedding learned from Contrastive Language-Image Pre-training (CLIP) to segmentation models, dubbed the CLIP-Driven Universal Model. The Universal Model can better segment 25 organs and 6 types of tumors by exploiting the semantic relationship between abdominal structures. The model is developed from an assembly of 14 datasets with 3,410 CT scans and evaluated on 6,162 external CT scans from 3 datasets. We rank first on the public leaderboard of the Medical Segmentation Decathlon (MSD) and achieve the state-of-the-art results on Beyond The Cranial Vault (BTCV). Compared with dataset-specific models, the Universal Model is computationally more efficient (6x faster), generalizes better to CT scans from varying sites, and shows stronger transfer learning performance on novel tasks. The design of CLIP embedding enables the Universal Model to be easily extended to new classes without catastrophically forgetting the previously learned classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google