Continual Learning for Abdominal Multi-Organ and Tumor Segmentation

要約

モデルを新しいデータやクラスに動的に拡張する機能は、複数の臓器や腫瘍のセグメンテーションにとって重要です。
ただし、プライバシー規制のため、医療分野では以前のデータや注釈へのアクセスに問題が生じる可能性があります。
これは、致命的な忘却の問題のため、新しいクラスから学習する際に古いクラスの高いセグメンテーション精度を維持する上で大きな障害となります。
この論文では、まず、高品質の擬似ラベルを使用するだけで、臓器セグメンテーションの設定においてこの問題をかなり軽減できることを経験的に示します。
さらに、我々は、コンピュータのオーバーヘッドを最小限に抑えながら、連続的な臓器と腫瘍のセグメンテーションのために特別に設計された革新的なアーキテクチャを提案しました。
私たちが提案する設計には、従来の出力層を軽量のクラス固有のヘッドのスイートで置き換えることが含まれており、それによって新しく出現したクラスに対応できる柔軟性が提供されます。
これらのヘッドは、新しく導入されたクラスと以前に学習したクラスの独立した予測を可能にし、継続的な学習の過程で新しいクラスが古いクラスに与える影響を効果的に最小限に抑えます。
さらに、Contrastive Language-Image Pretraining (CLIP) 埋め込みを器官固有のヘッドに組み込むことを提案します。
これらの埋め込みは、広範な画像とテキストの共同トレーニングによって通知された、各クラスのセマンティック情報をカプセル化します。
提案された方法は、臓器および腫瘍のセグメンテーション タスクの下で、社内および公開の腹部 CT データセットの両方で評価されます。
経験的な結果は、提案された設計が、学習軌跡に沿って新しく導入されたクラスと以前に学習されたクラスに対するベースライン ニューラル ネットワークのセグメンテーション パフォーマンスを向上させることを示唆しています。

要約(オリジナル)

The ability to dynamically extend a model to new data and classes is critical for multiple organ and tumor segmentation. However, due to privacy regulations, accessing previous data and annotations can be problematic in the medical domain. This poses a significant barrier to preserving the high segmentation accuracy of the old classes when learning from new classes because of the catastrophic forgetting problem. In this paper, we first empirically demonstrate that simply using high-quality pseudo labels can fairly mitigate this problem in the setting of organ segmentation. Furthermore, we put forward an innovative architecture designed specifically for continuous organ and tumor segmentation, which incurs minimal computational overhead. Our proposed design involves replacing the conventional output layer with a suite of lightweight, class-specific heads, thereby offering the flexibility to accommodate newly emerging classes. These heads enable independent predictions for newly introduced and previously learned classes, effectively minimizing the impact of new classes on old ones during the course of continual learning. We further propose incorporating Contrastive Language-Image Pretraining (CLIP) embeddings into the organ-specific heads. These embeddings encapsulate the semantic information of each class, informed by extensive image-text co-training. The proposed method is evaluated on both in-house and public abdominal CT datasets under organ and tumor segmentation tasks. Empirical results suggest that the proposed design improves the segmentation performance of a baseline neural network on newly-introduced and previously-learned classes along the learning trajectory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google