Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation

要約

医療画像処理では、独特の画像特性と、特に病理学における領域固有の課題のため、通常、慎重に作成されたデータセットを使用してトレーニングされたモデルが必要です。
デジタル化された組織サンプルにおける原始的な検出とセグメンテーションは、癌の客観的かつ自動化された診断と予後にとって不可欠です。
SAM (Segment Anything Model) は、自然画像から一般的なオブジェクトを高精度でセグメント化するために最近開発されましたが、マスクを生成するには人間のプロンプトが必要です。
この研究では、事前にトレーニングされた SAM の自然画像エンコーダーを検出ベースの領域提案に適応させる新しいアプローチを紹介します。
事前トレーニングされたエンコーダーによって提案された領域は、投影のためにカスケードされた特徴伝播レイヤーに送信されます。
次に、境界ボックスの位置特定と分類のために、ローカルの意味論的コンテキストとグローバル コンテキストがマルチスケールから集約されます。
最後に、SAM デコーダは、識別された境界ボックスを必須のプロンプトとして使用して、包括的なプリミティブ セグメンテーション マップを生成します。
基本フレームワークである SAM 全体には、追加のトレーニングや微調整は必要ありませんが、病理学における 2 つの基本的なセグメンテーション タスクに対してエンドツーエンドの結果を生成できます。
私たちの方法は、エンドツーエンドの効率を提供しながら、核検出の F1 スコア、PanNuke データセットのセグメンテーション品質のバイナリ/マルチクラス パノプティック (bPQ/mPQ) およびマスク品質 (ダイス) で最先端のモデルと比較します。
また、私たちのモデルは、Faster RCNN と比較して、二次データセット (HuBMAP 腎臓) で顕著な平均精度 (+4.5%) を達成しました。
コードは https://github.com/learner-codec/autoprom_sam で公開されています。

要約(オリジナル)

Medical image processing usually requires a model trained with carefully crafted datasets due to unique image characteristics and domain-specific challenges, especially in pathology. Primitive detection and segmentation in digitized tissue samples are essential for objective and automated diagnosis and prognosis of cancer. SAM (Segment Anything Model) has recently been developed to segment general objects from natural images with high accuracy, but it requires human prompts to generate masks. In this work, we present a novel approach that adapts pre-trained natural image encoders of SAM for detection-based region proposals. Regions proposed by a pre-trained encoder are sent to cascaded feature propagation layers for projection. Then, local semantic and global context is aggregated from multi-scale for bounding box localization and classification. Finally, the SAM decoder uses the identified bounding boxes as essential prompts to generate a comprehensive primitive segmentation map. The entire base framework, SAM, requires no additional training or fine-tuning but could produce an end-to-end result for two fundamental segmentation tasks in pathology. Our method compares with state-of-the-art models in F1 score for nuclei detection and binary/multiclass panoptic(bPQ/mPQ) and mask quality(dice) for segmentation quality on the PanNuke dataset while offering end-to-end efficiency. Our model also achieves remarkable Average Precision (+4.5%) on the secondary dataset (HuBMAP Kidney) compared to Faster RCNN. The code is publicly available at https://github.com/learner-codec/autoprom_sam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google