CellViT: Vision Transformers for Precise Cell Segmentation and Classification

要約

ヘマトキシリンおよびエオシン染色 (H&E) 組織画像における核の検出とセグメンテーションは重要な臨床タスクであり、幅広い用途にとって不可欠です。
ただし、核の染色とサイズのばらつき、境界の重なり、核のクラスター化により、これは困難な作業です。
畳み込みニューラル ネットワークはこのタスクに広く使用されてきましたが、私たちはこの領域における Transformer ベースのネットワークの可能性を探ります。
したがって、CellViT と呼ばれる Vision Transformer に基づく深層学習アーキテクチャを使用して、デジタル化された組織サンプル内の細胞核の自動インスタンス セグメンテーションのための新しい方法を導入します。
CellViT は、最も困難な核インスタンス セグメンテーション データセットの 1 つである PanNuke データセットでトレーニングおよび評価されており、19 の組織タイプの 5 つの臨床的に重要なクラスに分類された約 200,000 個の注釈付き核で構成されています。
私たちは、最近公開された Segment Anything Model と 1 億 400 万の組織学的画像パッチで事前トレーニングされた ViT エンコーダーを活用することで、大規模なドメイン内およびドメイン外で事前トレーニングされたビジョン トランスフォーマーの優位性を実証します。
PanNuke データセットにおける最新の核検出およびインスタンス セグメンテーションのパフォーマンスは、平均パノプティック品質 0.50、F1 検出スコア 0.83 でした。
コードは https://github.com/TIO-IKIM/CellViT で公開されています。

要約(オリジナル)

Nuclei detection and segmentation in hematoxylin and eosin-stained (H&E) tissue images are important clinical tasks and crucial for a wide range of applications. However, it is a challenging task due to nuclei variances in staining and size, overlapping boundaries, and nuclei clustering. While convolutional neural networks have been extensively used for this task, we explore the potential of Transformer-based networks in this domain. Therefore, we introduce a new method for automated instance segmentation of cell nuclei in digitized tissue samples using a deep learning architecture based on Vision Transformer called CellViT. CellViT is trained and evaluated on the PanNuke dataset, which is one of the most challenging nuclei instance segmentation datasets, consisting of nearly 200,000 annotated Nuclei into 5 clinically important classes in 19 tissue types. We demonstrate the superiority of large-scale in-domain and out-of-domain pre-trained Vision Transformers by leveraging the recently published Segment Anything Model and a ViT-encoder pre-trained on 104 million histological image patches – achieving state-of-the-art nuclei detection and instance segmentation performance on the PanNuke dataset with a mean panoptic quality of 0.50 and an F1-detection score of 0.83. The code is publicly available at https://github.com/TIO-IKIM/CellViT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google