A Survey on Cell Nuclei Instance Segmentation and Classification: Leveraging Context and Attention

要約

ギガピクセルのヘマトキシリンおよびエオシン (H&E) 染色された全スライド画像 (WSI) から核に手動でアノテーションを付けることは、手間がかかり、コストがかかる作業です。つまり、細胞核インスタンスのセグメンテーションと分類のための自動アルゴリズムは、病理学者や臨床研究者の作業負荷を軽減できる可能性があることを意味します。
臨床的に解釈可能な特徴の自動抽出が容易になります。
しかし、核の形態学的特徴と色彩的特徴のクラス内およびクラス間での高い変動性、およびアーチファクトに対する H&E 染色の感受性のため、最先端のアルゴリズムでは、必要な性能で実体を正しく検出および分類することができません。
この研究では、人工ニューラル ネットワーク (ANN) におけるコンテキストと注意の誘導バイアスにより、細胞核インスタンスのセグメント化と分類のアルゴリズムの一般化が促進される可能性があると仮説を立てています。
私たちは、H&E 染色顕微鏡イメージングからの細胞核インスタンスのセグメンテーションと分類のためのコンテキストとアテンションの方法に関する徹底的な調査を実施し、コンテキストとアテンションで取り組む課題について包括的な議論を提供します。
さらに、現在のアプローチのいくつかの制限を説明し、将来の研究のためのアイデアを示します。
ケーススタディとして、一般的なインスタンスのセグメンテーションおよび分類方法 (Mask-RCNN) と、カスタマイズされた細胞核インスタンスのセグメンテーションおよび分類モデル (HoVer-Net) の両方をコンテキストおよびアテンションベースのメカニズムで拡張し、比較分析を行います。
多中心結腸核の識別および計数データセット。
病理学者は、WSI を分析して注釈を付ける際に特定の関心領域 (RoI) に注意を払いながら、複数のレベルでコンテキストに依存しますが、私たちの調査結果は、ドメインの知識をアルゴリズム設計に変換するのは簡単な作業ではなく、これらのメカニズムを完全に活用するには科学的理解が必要であることを示唆しています。
これらの方法に対処する必要があります。

要約(オリジナル)

Manually annotating nuclei from the gigapixel Hematoxylin and Eosin (H&E)-stained Whole Slide Images (WSIs) is a laborious and costly task, meaning automated algorithms for cell nuclei instance segmentation and classification could alleviate the workload of pathologists and clinical researchers and at the same time facilitate the automatic extraction of clinically interpretable features. But due to high intra- and inter-class variability of nuclei morphological and chromatic features, as well as H&E-stains susceptibility to artefacts, state-of-the-art algorithms cannot correctly detect and classify instances with the necessary performance. In this work, we hypothesise context and attention inductive biases in artificial neural networks (ANNs) could increase the generalization of algorithms for cell nuclei instance segmentation and classification. We conduct a thorough survey on context and attention methods for cell nuclei instance segmentation and classification from H&E-stained microscopy imaging, while providing a comprehensive discussion of the challenges being tackled with context and attention. Besides, we illustrate some limitations of current approaches and present ideas for future research. As a case study, we extend both a general instance segmentation and classification method (Mask-RCNN) and a tailored cell nuclei instance segmentation and classification model (HoVer-Net) with context- and attention-based mechanisms, and do a comparative analysis on a multi-centre colon nuclei identification and counting dataset. Although pathologists rely on context at multiple levels while paying attention to specific Regions of Interest (RoIs) when analysing and annotating WSIs, our findings suggest translating that domain knowledge into algorithm design is no trivial task, but to fully exploit these mechanisms, the scientific understanding of these methods should be addressed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google