Enhanced Prompt-leveraged Weakly Supervised Cancer Segmentation based on Segment Anything

要約

この研究は、効果的な病理学的画像分析のための教師あり学習を超えた新しいアプローチを提案し、限られたロバストなラベル付きデータの課題に対処します。
がんなどの病気の病理学的診断は、従来、医師や病理学者による形態学的特徴の評価に依存していました。
しかし、最近の計算支援診断 (CAD) システムの進歩により、診断サポート ツールとして大きな注目が集まっています。
深層学習の進歩により CAD は大幅に改善されましたが、セグメンテーション モデルには通常、大規模なピクセル レベルの注釈付きデータセットが必要であり、そのようなラベル付けは高価です。
教師ありアプローチに基づいていない既存の研究は依然として一般化が限られており、実用的なアプローチはまだ登場していません。
この問題に対処するために、クラス アクティベーション マップとセグメント エニシング モデル (SAM) ベースの擬似ラベリングを組み合わせた、弱教師セマンティック セグメンテーション (WSSS) モデルを提案します。
効果的な事前トレーニングのために、大規模なデータセットで事前トレーニングされ、粗いプロンプトのみを使用してゼロショット構成で動作する基礎モデルである SAM を採用します。
提案されたアプローチは、強化されたアテンション ドロップアウト層の知識を SAM に転送し、それによって擬似ラベルを生成します。
提案された方法の優位性を実証するために、組織病理学的乳がんデータセットに対して実験研究が行われます。
提案された手法は 3 つのデータセットにわたって他の WSSS 手法よりも優れたパフォーマンスを示し、トレーニング中にわずか 12 GB の GPU メモリでこれを達成することでその効率性を実証しました。
私たちのコードはhttps://github.com/QI-NemoSong/EPLC-SAMから入手できます。

要約(オリジナル)

This work proposes a novel approach beyond supervised learning for effective pathological image analysis, addressing the challenge of limited robust labeled data. Pathological diagnosis of diseases like cancer has conventionally relied on the evaluation of morphological features by physicians and pathologists. However, recent advancements in compute-aided diagnosis (CAD) systems are gaining significant attention as diagnostic support tools. Although the advancement of deep learning has improved CAD significantly, segmentation models typically require large pixel-level annotated dataset, and such labeling is expensive. Existing studies not based on supervised approaches still struggle with limited generalization, and no practical approach has emerged yet. To address this issue, we present a weakly supervised semantic segmentation (WSSS) model by combining class activation map and Segment Anything Model (SAM)-based pseudo-labeling. For effective pretraining, we adopt the SAM-a foundation model that is pretrained on large datasets and operates in zero-shot configurations using only coarse prompts. The proposed approach transfer enhanced Attention Dropout Layer’s knowledge to SAM, thereby generating pseudo-labels. To demonstrate the superiority of the proposed method, experimental studies are conducted on histopathological breast cancer datasets. The proposed method outperformed other WSSS methods across three datasets, demonstrating its efficiency by achieving this with only 12GB of GPU memory during training. Our code is available at : https://github.com/QI-NemoSong/EPLC-SAM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google