Evaluation and improvement of Segment Anything Model for interactive histopathology image segmentation

要約

画像セグメンテーションの基礎モデルとしてセグメント エニシング モデル (SAM) が登場し、その応用が医療分野を含むさまざまな領域で広く研究されてきました。
しかし、組織病理学データ、特に領域セグメンテーションにおけるその可能性は、比較的限定的に注目されてきました。
この論文では、インタラクティブなセグメンテーションに焦点を当て、病理組織データのゼロショットおよび微調整シナリオで SAM のパフォーマンスを評価します。
さらに、SAM を他の最先端の対話型モデルと比較して、その実用的な可能性を評価し、ドメイン適応性による一般化能力を評価します。
実験結果では、SAM は他のモデルと比較してセグメンテーション パフォーマンスの弱点を示していますが、推論時間と汎化能力の点では相対的な強みを示しています。
SAM の限られた局所リファインメント能力を改善し、その核となる強みを維持しながら即時安定性を高めるために、SAM のデコーダの修正を提案します。
実験結果は、提案された修正が対話型組織学画像セグメンテーションに SAM を有用にするのに効果的であることを示唆しています。
コードは \url{https://github.com/hvcl/SAM_Interactive_Histopathology} で入手できます。

要約(オリジナル)

With the emergence of the Segment Anything Model (SAM) as a foundational model for image segmentation, its application has been extensively studied across various domains, including the medical field. However, its potential in the context of histopathology data, specifically in region segmentation, has received relatively limited attention. In this paper, we evaluate SAM’s performance in zero-shot and fine-tuned scenarios on histopathology data, with a focus on interactive segmentation. Additionally, we compare SAM with other state-of-the-art interactive models to assess its practical potential and evaluate its generalization capability with domain adaptability. In the experimental results, SAM exhibits a weakness in segmentation performance compared to other models while demonstrating relative strengths in terms of inference time and generalization capability. To improve SAM’s limited local refinement ability and to enhance prompt stability while preserving its core strengths, we propose a modification of SAM’s decoder. The experimental results suggest that the proposed modification is effective to make SAM useful for interactive histology image segmentation. The code is available at \url{https://github.com/hvcl/SAM_Interactive_Histopathology}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google