Segment Anything in Medical Images and Videos: Benchmark and Deployment

要約

セグメンテーション基盤モデルの最近の進歩により、広範囲の自然画像やビデオにわたる正確かつ効率的なセグメンテーションが可能になりましたが、医療データに対するその有用性は依然として不明です。
この研究では、まず 11 の医療画像モダリティおよびビデオにわたるセグメント エニシング モデル 2 (SAM2) の包括的なベンチマークを示し、SAM1 および MedSAM と比較することでその長所と短所を指摘します。
次に、転移学習パイプラインを開発し、微調整することで SAM2 が医療分野に迅速に適応できることを実証します。
さらに、3D 画像とビデオのセグメンテーションを効率的に行うための 3D スライサー プラグインと Gradio API として SAM2 を実装しています。
コードは \url{https://github.com/bowang-lab/MedSAM} で公開されています。

要約(オリジナル)

Recent advances in segmentation foundation models have enabled accurate and efficient segmentation across a wide range of natural images and videos, but their utility to medical data remains unclear. In this work, we first present a comprehensive benchmarking of the Segment Anything Model 2 (SAM2) across 11 medical image modalities and videos and point out its strengths and weaknesses by comparing it to SAM1 and MedSAM. Then, we develop a transfer learning pipeline and demonstrate SAM2 can be quickly adapted to medical domain by fine-tuning. Furthermore, we implement SAM2 as a 3D slicer plugin and Gradio API for efficient 3D image and video segmentation. The code has been made publicly available at \url{https://github.com/bowang-lab/MedSAM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google