Segment Anything for Histopathology

要約

核セグメンテーションは、デジタル病理学の重要な分析タスクです。
ただし、自動セグメンテーションの方法は、多くの場合、異なる分布からの新しいデータと格闘しているため、ユーザーは核に手動で注釈を付け、データ固有のモデルを再訓練する必要があります。
Segment Anything Model（SAM）などのVision Foundationモデル（VFM）は、自動およびインタラクティブセグメンテーションのためのより堅牢な代替品を提供します。
自然画像での成功にもかかわらず、組織病理学における核セグメンテーションの基礎モデルはまだ欠落しています。
SAMを適応させるための最初の努力はある程度の成功を示していますが、多様なセグメンテーションタスクの包括的なモデルをまだ導入していませんでした。
このギャップを埋めるために、多様なデータセットでSAMをトレーニングすることに基づいて、核セグメンテーション用のVFMであるPathosamを紹介します。
私たちの広範な実験は、それが組織病理学における自動およびインタラクティブな核インスタンスセグメンテーションの新しい最先端モデルであることを示しています。
また、セマンティック核のセグメンテーションを含む他のセグメンテーションタスクにどのように適応できるかを示します。
このタスクでは、最先端のセルビットをまだ破っていない一方で、人気のある方法よりも結果が得られることを示します。
私たちのモデルはオープンソースであり、データアノテーション用の一般的なツールと互換性があります。
また、全体のスライド画像セグメンテーションのスクリプトを提供します。
私たちのコードとモデルは、https://github.com/computational-cell-analytics/patho-samで公開されています。

要約(オリジナル)

Nucleus segmentation is an important analysis task in digital pathology. However, methods for automatic segmentation often struggle with new data from a different distribution, requiring users to manually annotate nuclei and retrain data-specific models. Vision foundation models (VFMs), such as the Segment Anything Model (SAM), offer a more robust alternative for automatic and interactive segmentation. Despite their success in natural images, a foundation model for nucleus segmentation in histopathology is still missing. Initial efforts to adapt SAM have shown some success, but did not yet introduce a comprehensive model for diverse segmentation tasks. To close this gap, we introduce PathoSAM, a VFM for nucleus segmentation, based on training SAM on a diverse dataset. Our extensive experiments show that it is the new state-of-the-art model for automatic and interactive nucleus instance segmentation in histopathology. We also demonstrate how it can be adapted for other segmentation tasks, including semantic nucleus segmentation. For this task, we show that it yields results better than popular methods, while not yet beating the state-of-the-art, CellViT. Our models are open-source and compatible with popular tools for data annotation. We also provide scripts for whole-slide image segmentation. Our code and models are publicly available at https://github.com/computational-cell-analytics/patho-sam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google