Biomedical SAM 2: Segment Anything in Biomedical Images and Videos

要約

医用画像のセグメンテーションとビデオ オブジェクトのセグメンテーションは、生物学的構造を特定して測定することによる病気の診断と分析に不可欠です。
自然領域における最近の進歩は、Segment Anything Model 2 (SAM 2) のような基礎モデルによって推進されています。
生物医学アプリケーションにおける SAM 2 のパフォーマンスを調査するために、さまざまなプロンプト設計を備えた単一フレーム画像セグメンテーションとマルチフレーム ビデオ セグメンテーション用の 2 つの評価パイプラインを設計し、医療現場における SAM 2 の限界を明らかにしました。
その結果、私たちは、SAM 2 に基づいて生物医学データに最適化された強化された基盤モデルである BioSAM 2 を開発しました。私たちの実験では、BioSAM 2 が既存の最先端の基盤モデルのパフォーマンスを上回るだけでなく、専門家モデルと同等、またはそれを超えることが示されました。
、医療分野での有効性と可能性を実証しています。

要約(オリジナル)

Medical image segmentation and video object segmentation are essential for diagnosing and analyzing diseases by identifying and measuring biological structures. Recent advances in natural domain have been driven by foundation models like the Segment Anything Model 2 (SAM 2). To explore the performance of SAM 2 in biomedical applications, we designed two evaluation pipelines for single-frame image segmentation and multi-frame video segmentation with varied prompt designs, revealing SAM 2’s limitations in medical contexts. Consequently, we developed BioSAM 2, an enhanced foundation model optimized for biomedical data based on SAM 2. Our experiments show that BioSAM 2 not only surpasses the performance of existing state-of-the-art foundation models but also matches or even exceeds specialist models, demonstrating its efficacy and potential in the medical domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google