Point-supervised Brain Tumor Segmentation with Box-prompted MedSAM

要約

病変や解剖学的構造を描出することは、画像誘導による治療において重要である。点教師付き医用画像セグメンテーション（PSS）は、コストのかかる専門家による描出ラベリングを軽減する大きな可能性を秘めている。しかし、正確なサイズと境界のガイダンスがないため、PSSの有効性はしばしば期待を下回る。医療用セグメント何でもモデル(Medical segment anything model: MedSAM)のような最近の視覚基盤モデルは、バウンディングボックスによるセグメンテーションにおいて大きな進歩を遂げたが、点注釈を利用するのは簡単ではなく、意味的な曖昧さが生じやすい。この予備的研究では、セマンティックを考慮した点教師付きMedSAMを促進するための反復フレームワークを導入する。具体的には、セマンティックボックス-プロンプトジェネレータ（SBPG）モジュールは、点入力を潜在的な擬似バウンディングボックス候補に変換する能力を持ち、これはプロトタイプに基づく意味的類似性によって明示的に改良される。これはMedSAMの卓越した汎化能力を利用してセグメンテーションマスクを推論し、SBPGのボックス提案シードも更新する。性能は適切な反復により漸進的に改善される。BraTS2018を用いた全脳腫瘍のセグメンテーションの評価を実施し、従来のPSS手法と比較して優れた性能を示し、ボックス教師あり手法と同等の性能を示した。

要約(オリジナル)

Delineating lesions and anatomical structure is important for image-guided interventions. Point-supervised medical image segmentation (PSS) has great potential to alleviate costly expert delineation labeling. However, due to the lack of precise size and boundary guidance, the effectiveness of PSS often falls short of expectations. Although recent vision foundational models, such as the medical segment anything model (MedSAM), have made significant advancements in bounding-box-prompted segmentation, it is not straightforward to utilize point annotation, and is prone to semantic ambiguity. In this preliminary study, we introduce an iterative framework to facilitate semantic-aware point-supervised MedSAM. Specifically, the semantic box-prompt generator (SBPG) module has the capacity to convert the point input into potential pseudo bounding box suggestions, which are explicitly refined by the prototype-based semantic similarity. This is then succeeded by a prompt-guided spatial refinement (PGSR) module that harnesses the exceptional generalizability of MedSAM to infer the segmentation mask, which also updates the box proposal seed in SBPG. Performance can be progressively improved with adequate iterations. We conducted an evaluation on BraTS2018 for the segmentation of whole brain tumors and demonstrated its superior performance compared to traditional PSS methods and on par with box-supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL