Segmentation by Factorization: Unsupervised Semantic Segmentation for Pathology by Factorizing Foundation Model Features

要約

因数分解によるセグメンテーション (F-SEG) を紹介します。これは、事前トレーニングされた深層学習モデルからセグメンテーション マスクを生成する、病理学用の教師なしセグメンテーション手法です。
F-SEG を使用すると、セマンティック セグメンテーションに、最近開発された病理学基礎モデルを含む、事前トレーニングされたディープ ニューラル ネットワークの使用が可能になります。
これは、モデルによって抽出された空間特徴をセグメンテーション マスクとそれに関連する概念特徴に因数分解することにより、追加のトレーニングや微調整を必要とせずに実現されます。
私たちは、Cancer Genome Atlas Program (TCGA) の複数の深層学習モデルから抽出された特徴に基づいて複数のクラスターのクラスタリング モデルをトレーニングすることにより、H&E 画像の一般的な組織表現型を作成し、次に、クラスターを使用して対応するセグメンテーション マスクを因数分解するためにどのように使用できるかを示します。
既製の深層学習モデル。
私たちの結果は、F-SEG が H&E 病理画像に対して堅牢な教師なしセグメンテーション機能を提供し、病理基礎モデルを利用することでセグメンテーションの品質が大幅に向上することを示しています。
私たちは、病理学における教師なしセグメンテーションのパフォーマンスを評価するための方法を議論し、提案します。

要約(オリジナル)

We introduce Segmentation by Factorization (F-SEG), an unsupervised segmentation method for pathology that generates segmentation masks from pre-trained deep learning models. F-SEG allows the use of pre-trained deep neural networks, including recently developed pathology foundation models, for semantic segmentation. It achieves this without requiring additional training or finetuning, by factorizing the spatial features extracted by the models into segmentation masks and their associated concept features. We create generic tissue phenotypes for H&E images by training clustering models for multiple numbers of clusters on features extracted from several deep learning models on The Cancer Genome Atlas Program (TCGA), and then show how the clusters can be used for factorizing corresponding segmentation masks using off-the-shelf deep learning models. Our results show that F-SEG provides robust unsupervised segmentation capabilities for H&E pathology images, and that the segmentation quality is greatly improved by utilizing pathology foundation models. We discuss and propose methods for evaluating the performance of unsupervised segmentation in pathology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google