SAM Carries the Burden: A Semi-Supervised Approach Refining Pseudo Labels for Medical Segmentation

要約

セマンティック セグメンテーションは、医療画像処理において重要なタスクです。
教師あり学習手法はこのタスクの実行に効果的であることが証明されていますが、注釈付きの大量のトレーニング データに大きく依存しています。
最近導入された Segment Anything Model (SAM) は、プロンプトベースのセグメンテーションを可能にし、不慣れなオブジェクトに対してゼロショットの一般化を提供します。
私たちの研究では、医療画像のセグメンテーションに SAM の抽象オブジェクト理解を活用して、半教師あり学習用の疑似ラベルを提供し、それによって大規模な注釈付きトレーニング データの必要性を軽減します。
私たちのアプローチは、SAM に転送されるプロンプトとして境界ボックスとシード ポイントを抽出することにより、限られた量の注釈付きデータ (最大 43 ケースで構成される) から導出された初期セグメンテーションを洗練します。
したがって、ラベルのないデータの疑似ラベルとして密なセグメンテーション マスクを生成できます。
結果は、擬似ラベルを使用したトレーニングにより、骨のセグメンテーションの Dice スコアが $74.29\,\%$ から $84.17\,\%$ に、また $66.63\,\%$ から $74.87\,\%$ に改善されたことを示しています。
それぞれ歯科用レントゲン写真で撮影された小児の手首と歯です。
その結果、私たちの方法は、強度ベースの後処理方法、セグメンテーションのための最先端の教師あり学習 (nnU-Net)、および半教師あり平均教師アプローチよりも優れています。
私たちのコードは GitHub で入手できます。

要約(オリジナル)

Semantic segmentation is a crucial task in medical imaging. Although supervised learning techniques have proven to be effective in performing this task, they heavily depend on large amounts of annotated training data. The recently introduced Segment Anything Model (SAM) enables prompt-based segmentation and offers zero-shot generalization to unfamiliar objects. In our work, we leverage SAM’s abstract object understanding for medical image segmentation to provide pseudo labels for semi-supervised learning, thereby mitigating the need for extensive annotated training data. Our approach refines initial segmentations that are derived from a limited amount of annotated data (comprising up to 43 cases) by extracting bounding boxes and seed points as prompts forwarded to SAM. Thus, it enables the generation of dense segmentation masks as pseudo labels for unlabelled data. The results show that training with our pseudo labels yields an improvement in Dice score from $74.29\,\%$ to $84.17\,\%$ and from $66.63\,\%$ to $74.87\,\%$ for the segmentation of bones of the paediatric wrist and teeth in dental radiographs, respectively. As a result, our method outperforms intensity-based post-processing methods, state-of-the-art supervised learning for segmentation (nnU-Net), and the semi-supervised mean teacher approach. Our Code is available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google