SegICL: A Universal In-context Learning Framework for Enhanced Segmentation in Medical Imaging

要約

医用画像セグメンテーション モデルは、コンテキスト内学習を通じてトレーニング不要の方法で新しいタスクに適応する興味深い進歩です。
ユニバーサル セグメンテーション モデルは、医療画像の多様なモダリティにわたって一般化することを目的としていますが、配布外 (OOD) データ モダリティやタスクに適用すると効果が低下することが多く、最適なパフォーマンスを得るにはモデルの複雑な微調整が必​​要になります。
この課題に対処するために、画像セグメンテーションにインコンテキスト学習 (ICL) を活用した新しいアプローチである SegICL を紹介します。
既存の方法とは異なり、SegICL はテキストガイド付きセグメンテーションを採用し、少数の画像とマスクのペアを使用してコンテキスト内学習を実行する機能を備えているため、モデルを最初からトレーニングしたり、OOD タスク (OOD モダリティを含む) を微調整したりする必要がなくなります。
およびデータセット）。
SegICL の広範な実験検証により、プロンプト サンプルの数と OOD モダリティおよびタスクのセグメンテーション パフォーマンスの間に正の相関があることが実証されています。
これは、SegICL がコンテキスト情報に基づいて新しいセグメンテーション タスクに効果的に対処していることを示しています。
さらに、SegICL は、OOD および分散タスクにおいて主流モデルと同等のセグメンテーション パフォーマンスも示します。
私たちのコードは間もなくリリースされる予定です。

要約(オリジナル)

Medical image segmentation models adapting to new tasks in a training-free manner through in-context learning is an exciting advancement. Universal segmentation models aim to generalize across the diverse modality of medical images, yet their effectiveness often diminishes when applied to out-of-distribution (OOD) data modalities and tasks, requiring intricate fine-tuning of model for optimal performance. For addressing this challenge, we introduce SegICL, a novel approach leveraging In-Context Learning (ICL) for image segmentation. Unlike existing methods, SegICL has the capability to employ text-guided segmentation and conduct in-context learning with a small set of image-mask pairs, eliminating the need for training the model from scratch or fine-tuning for OOD tasks (including OOD modality and dataset). Extensive experimental validation of SegICL demonstrates a positive correlation between the number of prompt samples and segmentation performance on OOD modalities and tasks. This indicates that SegICL effectively address new segmentation tasks based on contextual information. Additionally, SegICL also exhibits comparable segmentation performance to mainstream models on OOD and in-distribution tasks. Our code will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google