Human-machine Interactive Tissue Prototype Learning for Label-efficient Histopathology Image Segmentation

要約

最近、ディープ ニューラル ネットワークによって組織病理学の画像セグメンテーションが大幅に進歩しましたが、通常は豊富な注釈付きデータが必要です。
ただし、スライド画像全体のギガピクセル スケールと病理学者の毎日の重い作業負荷のため、臨床現場で教師あり学習用のピクセル レベルのラベルを取得することは、多くの場合実行不可能です。
あるいは、あまり手間のかからない画像レベルのラベルを使用して、教師が弱いセグメンテーション方法が検討されていますが、密な監視が不足しているため、そのパフォーマンスは不十分です。
自己教師あり学習法の最近の成功に触発されて、ラベル効率の高い組織プロトタイプ辞書構築パイプラインを提示し、得られたプロトタイプを使用して組織病理学の画像セグメンテーションをガイドすることを提案します。
特に、自己教師あり対照学習を利用して、エンコーダーは、ラベル付けされていない組織病理画像パッチを、これらのパッチがクラスター化されて効率的な病理学者の視覚的検査によって組織プロトタイプを識別する弁別埋め込み空間に投影するようにトレーニングされます。
次に、エンコーダーを使用して画像を埋め込み空間にマッピングし、組織プロトタイプ辞書を照会してピクセルレベルの疑似組織マスクを生成します。
最後に、疑似マスクを使用して、パフォーマンスを向上させるために密な監視でセグメンテーション ネットワークをトレーニングします。
2 つの公開データセットでの実験は、ヒューマン マシン インタラクティブな組織プロトタイプ学習法が、完全に教師ありのベースラインと同等のセグメンテーション パフォーマンスを実現し、注釈の負担が少なく、他の弱く教師ありの方法よりも優れていることを示しています。
コードは公開時に利用可能になります。

要約(オリジナル)

Recently, deep neural networks have greatly advanced histopathology image segmentation but usually require abundant annotated data. However, due to the gigapixel scale of whole slide images and pathologists’ heavy daily workload, obtaining pixel-level labels for supervised learning in clinical practice is often infeasible. Alternatively, weakly-supervised segmentation methods have been explored with less laborious image-level labels, but their performance is unsatisfactory due to the lack of dense supervision. Inspired by the recent success of self-supervised learning methods, we present a label-efficient tissue prototype dictionary building pipeline and propose to use the obtained prototypes to guide histopathology image segmentation. Particularly, taking advantage of self-supervised contrastive learning, an encoder is trained to project the unlabeled histopathology image patches into a discriminative embedding space where these patches are clustered to identify the tissue prototypes by efficient pathologists’ visual examination. Then, the encoder is used to map the images into the embedding space and generate pixel-level pseudo tissue masks by querying the tissue prototype dictionary. Finally, the pseudo masks are used to train a segmentation network with dense supervision for better performance. Experiments on two public datasets demonstrate that our human-machine interactive tissue prototype learning method can achieve comparable segmentation performance as the fully-supervised baselines with less annotation burden and outperform other weakly-supervised methods. Codes will be available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google