Valuing Vicinity: Memory attention framework for context-based semantic segmentation in histopathology

要約

組織病理学的全スライド画像を腫瘍性組織と非腫瘍性組織にセグメンテーションすることは、腫瘍領域を正確に分類するためにローカルおよびグローバルな空間コンテキストの両方を考慮する必要がある困難な作業です。
腫瘍組織のサブタイプの識別は、分離の鋭さが低下し、病理学者の推論が空間的状況によってさらに導かれるため、問題を複雑にします。
ただし、詳細な種類の組織の識別は、個別化されたがん治療を提供するために重要です。
スライド画像全体の解像度が高いため、分離された画像セクションに制限されている既存のセマンティック セグメンテーション方法では、コンテキスト情報を超えて処理することができません。
より良いコンテキスト理解への一歩を踏み出すために、パッチ埋め込みメモリバンクから隣接組織コンテキストをクエリし、コンテキスト埋め込みをボトルネックの隠れた特徴マップに注入するパッチネイバーアテンションメカニズムを提案します。
当社のメモリ アテンション フレームワーク (MAF) は、病理学者の注釈手順を模倣し、ズームアウトして周囲の組織のコンテキストを考慮します。
このフレームワークは、任意のエンコーダ/デコーダ セグメンテーション メソッドに統合できます。
有名なセグメンテーション モデル (U-Net、DeeplabV3) を使用して、公的乳がんと内部腎臓がんのデータ セットで MAF を評価し、他のコンテキスト統合アルゴリズムよりも優れていることを示します。最大 $17\%$ の大幅な改善を達成しました。
ダイススコアで。
コードは、https://github.com/tio-ikim/valuing-vicinity で公開されています。

要約(オリジナル)

The segmentation of histopathological whole slide images into tumourous and non-tumourous types of tissue is a challenging task that requires the consideration of both local and global spatial contexts to classify tumourous regions precisely. The identification of subtypes of tumour tissue complicates the issue as the sharpness of separation decreases and the pathologist’s reasoning is even more guided by spatial context. However, the identification of detailed types of tissue is crucial for providing personalized cancer therapies. Due to the high resolution of whole slide images, existing semantic segmentation methods, restricted to isolated image sections, are incapable of processing context information beyond. To take a step towards better context comprehension, we propose a patch neighbour attention mechanism to query the neighbouring tissue context from a patch embedding memory bank and infuse context embeddings into bottleneck hidden feature maps. Our memory attention framework (MAF) mimics a pathologist’s annotation procedure — zooming out and considering surrounding tissue context. The framework can be integrated into any encoder-decoder segmentation method. We evaluate the MAF on a public breast cancer and an internal kidney cancer data set using famous segmentation models (U-Net, DeeplabV3) and demonstrate the superiority over other context-integrating algorithms — achieving a substantial improvement of up to $17\%$ on Dice score. The code is publicly available at: https://github.com/tio-ikim/valuing-vicinity

arxiv情報

提供元, 利用サービス

arxiv.jp, Google