Unleashing the Power of Prompt-driven Nucleus Instance Segmentation

要約

組織学画像における核インスタンスのセグメンテーションは、幅広い臨床応用にとって重要です。
現在普及している核インスタンスのセグメンテーション アルゴリズムは、核の等高線、距離マップ、分水界マーカー、または星型凸多角形の代理核表現の回帰に依存しています。
したがって、これらの方法では、エラーが発生しやすくパラメータに敏感であることが一般に認識されている核インスタンスを区別するための高度な後処理操作が必要になります。
最近、セグメント エニシング モデル (SAM) が、その優れた一般化能力と即時性により、医療画像セグメンテーションの分野で大きな注目を集めています。
それにもかかわらず、核実体セグメント化におけるその可能性は依然としてほとんど研究されていません。
この論文では、核インスタンスの自動セグメンテーションのためのポイント プロンプターと SAM で構成される新しいプロンプト駆動フレームワークを紹介します。
具体的には、プロンプターは各ニュークリアスに固有のポイント プロンプトを生成する方法を学習し、同時に SAM はキューされたニュークリアスの対応するマスクを出力するように微調整されます。
さらに、重複する核を認識するモデルの能力を促進するために、隣接する核をネガティブ プロンプトとして追加することを提案します。
付加機能なしで、私たちが提案する方法は、3 つの困難なベンチマークで新しい最先端のパフォーマンスを設定します。
コードは \textcolor{magenta}{\url{https://github.com/windygoo/PromptNucSeg}} で入手できます。

要約(オリジナル)

Nuclear instance segmentation in histology images is crucial for a broad spectrum of clinical applications. Current prevailing nuclear instance segmentation algorithms rely on regression of nuclei contours, distance maps, watershed markers or a proxy nuclear representation of star-convex polygons. Consequently, these methods necessitate sophisticated post-processing operations to distinguish nuclei instances, which are commonly acknowledged to be error-prone and parameter-sensitive. Recently, the segment anything model (SAM) has earned attracted huge attention within the domain of medical image segmentation due to its impressive generalization ability and promptable property. Nevertheless, its potential on nuclear instance segmentation remains largely underexplored. In this paper, we present a novel prompt-driven framework that consists of a point prompter and a SAM for automatic nuclei instance segmentation. Specifically, the prompter learns to generate a unique point prompt for each nucleus while the SAM is fine tuned to output the corresponding mask of the cued nucleus. Furthermore, we propose to add adjacent nuclei as negative prompts to promote the model’s ability to recognize overlapping nuclei. Without bells and whistles, our proposed method sets a new state-of-the-art performance on three challenging benchmarks. Our code is available at \textcolor{magenta}{\url{https://github.com/windygoo/PromptNucSeg}} .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google