Universal and Extensible Language-Vision Models for Organ Segmentation and Tumor Detection from Abdominal Computed Tomography

要約

臓器セグメンテーションと腫瘍検出のための人工知能 (AI) の進歩は、ボクセルごとの詳細な注釈を備えたコンピューター断層撮影 (CT) データセットの利用可能性が高まっていることによって推進されています。
ただし、これらの AI モデルは、ワンホット エンコーディング、アーキテクチャ設計、学習スキームの制限により、部分的にアノテーションが付けられたデータセットの柔軟性や新しいクラスの拡張性に苦労することがよくあります。
これらの制限を克服するために、我々は、ユニバーサルモデルと呼ばれる単一のモデルが複数の公開データセットを扱い、新しいクラス（臓器/腫瘍など）に適応できるようにする普遍的で拡張可能なフレームワークを提案します。
まず、大規模な言語モデルからの言語埋め込みを活用する新しい言語駆動型パラメーター ジェネレーターを導入し、ワンホット エンコーディングと比較してセマンティック エンコーディングを強化します。
第 2 に、従来の出力レイヤーが軽量のクラス固有のヘッドに置き換えられ、ユニバーサル モデルで 25 の臓器と 6 種類の腫瘍を同時にセグメント化し、新しいクラスの追加が容易になります。
14 の公開データセットから組み立てられた 3,410 CT ボリュームでユニバーサル モデルをトレーニングし、次に 4 つの外部データセットからの 6,173 CT ボリュームでテストします。
Universal Model は、Medical Segmentation Decathlon (MSD) 公開リーダーボードの 6 つの CT タスクで 1 位を獲得し、Beyond The Cranial Vault (BTCV) データセットでトップのパフォーマンスを達成しました。
要約すると、ユニバーサル モデルは驚くべき計算効率 (他のデータセット固有のモデルより 6 倍高速) を示し、さまざまな病院間での強力な一般化を実証し、多数の下流タスクに適切に移行し、さらに重要なことに、壊滅的な忘れを軽減しながら新しいクラスへの拡張性を促進します。
以前に学んだクラス。
コード、モデル、データセットは https://github.com/ljwztc/CLIP-Driven-Universal-Model で入手できます。

要約(オリジナル)

The advancement of artificial intelligence (AI) for organ segmentation and tumor detection is propelled by the growing availability of computed tomography (CT) datasets with detailed, per-voxel annotations. However, these AI models often struggle with flexibility for partially annotated datasets and extensibility for new classes due to limitations in the one-hot encoding, architectural design, and learning scheme. To overcome these limitations, we propose a universal, extensible framework enabling a single model, termed Universal Model, to deal with multiple public datasets and adapt to new classes (e.g., organs/tumors). Firstly, we introduce a novel language-driven parameter generator that leverages language embeddings from large language models, enriching semantic encoding compared with one-hot encoding. Secondly, the conventional output layers are replaced with lightweight, class-specific heads, allowing Universal Model to simultaneously segment 25 organs and six types of tumors and ease the addition of new classes. We train our Universal Model on 3,410 CT volumes assembled from 14 publicly available datasets and then test it on 6,173 CT volumes from four external datasets. Universal Model achieves first place on six CT tasks in the Medical Segmentation Decathlon (MSD) public leaderboard and leading performance on the Beyond The Cranial Vault (BTCV) dataset. In summary, Universal Model exhibits remarkable computational efficiency (6x faster than other dataset-specific models), demonstrates strong generalization across different hospitals, transfers well to numerous downstream tasks, and more importantly, facilitates the extensibility to new classes while alleviating the catastrophic forgetting of previously learned classes. Codes, models, and datasets are available at https://github.com/ljwztc/CLIP-Driven-Universal-Model

arxiv情報

提供元, 利用サービス

arxiv.jp, Google