CellViT++: Energy-Efficient and Adaptive Cell Segmentation and Classification Using Foundation Models

要約

デジタルパソロジーは病気の診断と治療の基礎です。
この分野の重要なタスクは、ヘマトキシリンおよびエオシン染色画像内の細胞の識別とセグメンテーションです。
セルセグメンテーションの既存の方法では、多くの場合、トレーニング用に大規模な注釈付きデータセットが必要であり、事前定義されたセル分類スキームに制限されています。
これらの制限を克服するために、デジタル病理学における一般化された細胞セグメンテーションのためのフレームワークである $\text{CellViT}^{{\scriptscriptstyle ++}}$ を提案します。
$\text{CellViT}^{{\scriptscriptstyle ++}}$ は、基礎モデルを備えたビジョン トランスフォーマーをエンコーダーとして利用し、深いセルの特徴とセグメンテーション マスクを同時に計算します。
目に見えない細胞タイプに適応するために、計算効率の高いアプローチに依存しています。
トレーニングに必要なデータは最小限であり、二酸化炭素排出量の大幅な削減につながります。
当社は、幅広い細胞種、臓器、臨床現場をカバーする 7 つの異なるデータセットで優れたパフォーマンスを実証しています。
このフレームワークは、優れたゼロショット セグメンテーションとデータ効率の高い細胞型分類を実現します。
さらに、$\text{CellViT}^{{\scriptscriptstyle ++}}$ が免疫蛍光染色を利用して、病理学者の注釈を必要とせずにトレーニング データセットを生成できることを示します。
自動化されたデータセット生成アプローチは、手動でラベル付けされたデータでトレーニングされたネットワークのパフォーマンスを上回り、専門家の注釈なしで高品質のトレーニング データセットを作成する際の有効性を示しています。
デジタルパソロジーを進歩させるために、$\text{CellViT}^{{\scriptscriptstyle ++}}$ が、視覚化と注釈のための使いやすい Web ベースのインターフェイスを備えたオープンソース フレームワークとして利用可能です。
コードは https://github.com/TIO-IKIM/CellViT-plus-plus で入手できます。

要約(オリジナル)

Digital Pathology is a cornerstone in the diagnosis and treatment of diseases. A key task in this field is the identification and segmentation of cells in hematoxylin and eosin-stained images. Existing methods for cell segmentation often require extensive annotated datasets for training and are limited to a predefined cell classification scheme. To overcome these limitations, we propose $\text{CellViT}^{{\scriptscriptstyle ++}}$, a framework for generalized cell segmentation in digital pathology. $\text{CellViT}^{{\scriptscriptstyle ++}}$ utilizes Vision Transformers with foundation models as encoders to compute deep cell features and segmentation masks simultaneously. To adapt to unseen cell types, we rely on a computationally efficient approach. It requires minimal data for training and leads to a drastically reduced carbon footprint. We demonstrate excellent performance on seven different datasets, covering a broad spectrum of cell types, organs, and clinical settings. The framework achieves remarkable zero-shot segmentation and data-efficient cell-type classification. Furthermore, we show that $\text{CellViT}^{{\scriptscriptstyle ++}}$ can leverage immunofluorescence stainings to generate training datasets without the need for pathologist annotations. The automated dataset generation approach surpasses the performance of networks trained on manually labeled data, demonstrating its effectiveness in creating high-quality training datasets without expert annotations. To advance digital pathology, $\text{CellViT}^{{\scriptscriptstyle ++}}$ is available as an open-source framework featuring a user-friendly, web-based interface for visualization and annotation. The code is available under https://github.com/TIO-IKIM/CellViT-plus-plus.

arxiv情報

著者 Fabian Hörst,Moritz Rempe,Helmut Becker,Lukas Heine,Julius Keyl,Jens Kleesiek
発行日 2025-01-09 14:26:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG パーマリンク