Annotation-Efficient Task Guidance for Medical Segment Anything

要約

医用画像のセグメンテーションは画像処理ワークフローにおける重要なタスクであり、多くの画像ベースの意思決定に影響を与えます。
従来の完全監視セグメンテーション モデルは、通常は手動のアノテーションを通じて取得される大量のラベル付きトレーニング データに依存していますが、これは高価で時間がかかり、エラーが発生しやすいプロセスになる可能性があります。
これは、これらのモデルをトレーニングするための、正確かつ自動でアノテーション効率の高い方法の必要性を示しています。
我々は、医療画像セグメンテーションのための新しいマルチタスク学習フレームワークである SAM-Mix を提案します。これは、補助分類器によって生成されたクラス活性化マップを使用して、SAM フレームワークに基づいた半教師ありセグメンテーション ブランチの予測をガイドします。
公開されている LiTS データセットの実験評価により、腹部コンピューター断層撮影 (CT) スキャンからの肝臓の分類とセグメンテーションを同時に行うための SAM-Mix の有効性が確認されています。
利用可能なラベル付きトレーニング データのわずか 0.04% に相当する、わずか 50 個のラベル付き 2D スライスで 90% 少ないエポックでトレーニングすると、SAM-Mix は最良のベースライン モデルと比較して 5.1% の Dice 改善を達成します。
SAM-Mix の汎化結果はさらに印象的で、同じモデル構成でクロスドメイン セグメンテーション タスクで 25.4% の Dice 改善が得られました。
私たちのコードは https://github.com/tbwa233/SAM-Mix で入手できます。

要約(オリジナル)

Medical image segmentation is a key task in the imaging workflow, influencing many image-based decisions. Traditional, fully-supervised segmentation models rely on large amounts of labeled training data, typically obtained through manual annotation, which can be an expensive, time-consuming, and error-prone process. This signals a need for accurate, automatic, and annotation-efficient methods of training these models. We propose SAM-Mix, a novel multitask learning framework for medical image segmentation that uses class activation maps produced by an auxiliary classifier to guide the predictions of the semi-supervised segmentation branch, which is based on the SAM framework. Experimental evaluations on the public LiTS dataset confirm the effectiveness of SAM-Mix for simultaneous classification and segmentation of the liver from abdominal computed tomography (CT) scans. When trained for 90% fewer epochs on only 50 labeled 2D slices, representing just 0.04% of the available labeled training data, SAM-Mix achieves a Dice improvement of 5.1% over the best baseline model. The generalization results for SAM-Mix are even more impressive, with the same model configuration yielding a 25.4% Dice improvement on a cross-domain segmentation task. Our code is available at https://github.com/tbwa233/SAM-Mix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google