PathoDuet: Foundation Models for Pathological Slide Analysis of H&E and IHC Stains

要約

デジタル化された大量の組織病理学的データは、自己教師あり学習方法による病理学的基礎モデルの開発に有望な将来を示しています。
これらの方法で事前トレーニングされた基礎モデルは、下流タスクの優れた基盤として機能します。
しかし、自然画像と病理組織画像の間にはギャップがあるため、既存の方法を直接適用することは困難です。
この研究では、病理組織画像に関する一連の事前トレーニング済みモデルである PathoDuet と、組織病理学における新しい自己教師あり学習フレームワークを紹介します。
このフレームワークは、新たに導入された口実トークンと、複数の倍率や複数の染色など、画像間の特定の関係を明示的に利用するためのその後の課題提起によって特徴付けられています。
これに基づいて、クロススケール位置決めとクロス染色転送という 2 つの口実タスクが、それぞれヘマトキシリンおよびエオシン (H\&E) 画像でモデルを事前トレーニングし、モデルを免疫組織化学 (IHC) 画像に転送するように設計されています。
モデルの有効性を検証するために、パッチレベルの結腸直腸がんのサブタイピングや H/&E フィールドでの全スライド画像 (WSI) レベルの分類、IHC の発現レベルの予測など、さまざまな下流タスクのパフォーマンスを評価します。
IHC分野におけるマーカーと腫瘍の同定。
実験結果は、ほとんどのタスクに対するモデルの優位性と、提案された口実タスクの有効性を示しています。
コードとモデルは https://github.com/openmedlab/PathoDuet で入手できます。

要約(オリジナル)

Large amounts of digitized histopathological data display a promising future for developing pathological foundation models via self-supervised learning methods. Foundation models pretrained with these methods serve as a good basis for downstream tasks. However, the gap between natural and histopathological images hinders the direct application of existing methods. In this work, we present PathoDuet, a series of pretrained models on histopathological images, and a new self-supervised learning framework in histopathology. The framework is featured by a newly-introduced pretext token and later task raisers to explicitly utilize certain relations between images, like multiple magnifications and multiple stains. Based on this, two pretext tasks, cross-scale positioning and cross-stain transferring, are designed to pretrain the model on Hematoxylin and Eosin (H\&E) images and transfer the model to immunohistochemistry (IHC) images, respectively. To validate the efficacy of our models, we evaluate the performance over a wide variety of downstream tasks, including patch-level colorectal cancer subtyping and whole slide image (WSI)-level classification in H\&E field, together with expression level prediction of IHC marker and tumor identification in IHC field. The experimental results show the superiority of our models over most tasks and the efficacy of proposed pretext tasks. The codes and models are available at https://github.com/openmedlab/PathoDuet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google