SPPNet: A Single-Point Prompt Network for Nuclei Image Segmentation

要約

画像セグメンテーションは核画像解析において重要な役割を果たします。
最近、セグメント何でもモデルは、このようなタスクにおいて大きな進歩を遂げました。
しかし、現在のモデルには、セルのセグメンテーションに関して 2 つの大きな問題があります。(1) セグメント何でもモデルの画像エンコーダには、多数のパラメータが含まれます。
モデルの再トレーニングや微調整には依然として高価な計算リソースが必要です。
(2) ポイント プロンプト モードでは、ポイントはグラウンド トゥルースの中心からサンプリングされ、複数のポイント セットが信頼性の高いパフォーマンスを達成することが期待されますが、実際のアプリケーションには効率的ではありません。
この論文では、SPPNet と呼ばれる核画像セグメンテーション用のシングルポイント プロンプト ネットワークを提案します。
元の画像エンコーダーを軽量のビジョン トランスフォーマーに置き換えます。
また、画像から低レベルの意味情報を抽出し、小型の画像エンコーダによるパフォーマンスの低下を補償するために、効果的な畳み込みブロックが並行して追加されます。
ガウスカーネルに基づいた新しいポイントサンプリング法を提案します。
提案されたモデルは MoNuSeg-2018 データセットで評価されます。
その結果、SPPNet が既存の U 字型アーキテクチャよりも優れたパフォーマンスを示し、トレーニングでの収束が高速であることが実証されました。
セグメント何でもモデルと比較すると、SPPNet は 1/70 のパラメーターと計算コストで、約 20 倍高速な推論を示します。
特に、トレーニング段階と推論段階の両方で必要な点のセットは 1 つだけであり、臨床応用にとってはより合理的です。
私たちの作業のコードと技術的な詳細は、https://github.com/xq141839/SPPNet でご覧いただけます。

要約(オリジナル)

Image segmentation plays an essential role in nuclei image analysis. Recently, the segment anything model has made a significant breakthrough in such tasks. However, the current model exists two major issues for cell segmentation: (1) the image encoder of the segment anything model involves a large number of parameters. Retraining or even fine-tuning the model still requires expensive computational resources. (2) in point prompt mode, points are sampled from the center of the ground truth and more than one set of points is expected to achieve reliable performance, which is not efficient for practical applications. In this paper, a single-point prompt network is proposed for nuclei image segmentation, called SPPNet. We replace the original image encoder with a lightweight vision transformer. Also, an effective convolutional block is added in parallel to extract the low-level semantic information from the image and compensate for the performance degradation due to the small image encoder. We propose a new point-sampling method based on the Gaussian kernel. The proposed model is evaluated on the MoNuSeg-2018 dataset. The result demonstrated that SPPNet outperforms existing U-shape architectures and shows faster convergence in training. Compared to the segment anything model, SPPNet shows roughly 20 times faster inference, with 1/70 parameters and computational cost. Particularly, only one set of points is required in both the training and inference phases, which is more reasonable for clinical applications. The code for our work and more technical details can be found at https://github.com/xq141839/SPPNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google