NuSegDG: Integration of Heterogeneous Space and Gaussian Kernel for Domain-Generalized Nuclei Segmentation

要約

ドメイン一般化された核セグメンテーションは、ソース ドメインから学習した知識に基づいて、目に見えないドメインに対するモデルの一般化可能性を指し、さまざまな画像条件、細胞タイプ、染色戦略によって課題が生じます。
最近、Segment Anything Model (SAM) は、対話型プロンプト モード (ポイント アンド ボックスなど) によるユニバーサル画像セグメンテーションで大きな成功を収めています。
オリジナルの SAM は、その長所にもかかわらず、医療画像への適応が限られています。
さらに、SAM では、満足のいくセグメンテーション マスクを生成するために各オブジェクトに手動でバウンディング ボックス プロンプトを提供する必要があるため、核セグメンテーション シナリオでは手間がかかります。
これらの制限に対処するために、NuSegDG と略される、核画像セグメンテーションのためのドメイン一般化可能なフレームワークを提案します。
具体的には、まず、少数の訓練可能なパラメータをSAMの画像エンコーダに注入することによって、異なる核ドメインの多次元特徴表現を学習する異種空間アダプタ(HS-Adapter)を考案しました。
手動プロンプトの労働集約的な要件を軽減するために、ガウシアン カーネル プロンプト エンコーダ (GKP エンコーダ) を導入して、単一点によって駆動される密度マップを生成します。これは、位置プロンプトとセマンティック プロンプトを混合することによってセグメンテーション予測をガイドします。
さらに、手動による形態学的形状の調整を必要とせずに、セマンティック マスクをインスタンス マップに効果的に変換する 2 段階マスク デコーダー (TSM デコーダー) を紹介します。
私たちの実験的評価に基づいて、提案された NuSegDG は核インスタンスのセグメンテーションにおける最先端のパフォーマンスを実証し、優れたドメイン汎化機能を示します。
ソース コードは https://github.com/xq141839/NuSegDG で入手できます。

要約(オリジナル)

Domain-generalized nuclei segmentation refers to the generalizability of models to unseen domains based on knowledge learned from source domains and is challenged by various image conditions, cell types, and stain strategies. Recently, the Segment Anything Model (SAM) has made great success in universal image segmentation by interactive prompt modes (e.g., point and box). Despite its strengths, the original SAM presents limited adaptation to medical images. Moreover, SAM requires providing manual bounding box prompts for each object to produce satisfactory segmentation masks, so it is laborious in nuclei segmentation scenarios. To address these limitations, we propose a domain-generalizable framework for nuclei image segmentation, abbreviated to NuSegDG. Specifically, we first devise a Heterogeneous Space Adapter (HS-Adapter) to learn multi-dimensional feature representations of different nuclei domains by injecting a small number of trainable parameters into the image encoder of SAM. To alleviate the labor-intensive requirement of manual prompts, we introduce a Gaussian-Kernel Prompt Encoder (GKP-Encoder) to generate density maps driven by a single point, which guides segmentation predictions by mixing position prompts and semantic prompts. Furthermore, we present a Two-Stage Mask Decoder (TSM-Decoder) to effectively convert semantic masks to instance maps without the manual demand for morphological shape refinement. Based on our experimental evaluations, the proposed NuSegDG demonstrates state-of-the-art performance in nuclei instance segmentation, exhibiting superior domain generalization capabilities. The source code is available at https://github.com/xq141839/NuSegDG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google