PLUTO: Pathology-Universal Transformer

要約

病理学は組織の顕微鏡検査の研究であり、多くの場合、病理学的診断は病気を診断するための医学のゴールドスタンダードです。
病理画像は、コンピュータ ビジョン ベースの分析に特有の課題をもたらします。単一の病理スライド画像全体 (WSI) はギガピクセル サイズであり、多くの場合、複数の解像度にわたって数十万から数百万の対象オブジェクトが含まれています。
この研究では、PathoLogy Universal TransfOrmer (PLUTO) を提案します。これは、複数のサイトから収集された 1 億 9,500 万の画像タイルの多様なデータセットで事前トレーニングされ、さまざまな WSI スケールにわたって意味のある表現を抽出する軽量の病理学 FM です。
下流の病理タスクの管理。
特に、インスタンスのセグメンテーション、タイル分類、スライド レベルの予測など、細胞内レベルからスライド スケールまでの病理スケールにわたるタスクに PLUTO の出力埋め込みを利用する、タスク固有のアダプテーション ヘッドを設計します。
私たちは、複数の生物学的に関連するタスク、組織タイプ、解像度、染色、スキャナーをカバーする外部および内部ベンチマークの多様なセットで、PLUTO のパフォーマンスを他の最先端の手法と比較します。
PLUTO は、既存のタスク固有のベースラインや病理学固有の基礎モデルと同等またはそれを上回っていることがわかりました。これらのモデルの中には、PLUTO と比較して桁違いに大きなデータセットとモデル サイズを使用するものもあります。
私たちの発見は、病理画像解析を強化するためのユニバーサルな埋め込みへの道を提示し、データの多様性、アーキテクチャの改善、サンプル効率、現実世界のアプリケーションでの実用的な導入可能性の観点から、病理基礎モデルのさらなる探求を動機づけます。

要約(オリジナル)

Pathology is the study of microscopic inspection of tissue, and a pathology diagnosis is often the medical gold standard to diagnose disease. Pathology images provide a unique challenge for computer-vision-based analysis: a single pathology Whole Slide Image (WSI) is gigapixel-sized and often contains hundreds of thousands to millions of objects of interest across multiple resolutions. In this work, we propose PathoLogy Universal TransfOrmer (PLUTO): a light-weight pathology FM that is pre-trained on a diverse dataset of 195 million image tiles collected from multiple sites and extracts meaningful representations across multiple WSI scales that enable a large variety of downstream pathology tasks. In particular, we design task-specific adaptation heads that utilize PLUTO’s output embeddings for tasks which span pathology scales ranging from subcellular to slide-scale, including instance segmentation, tile classification, and slide-level prediction. We compare PLUTO’s performance to other state-of-the-art methods on a diverse set of external and internal benchmarks covering multiple biologically relevant tasks, tissue types, resolutions, stains, and scanners. We find that PLUTO matches or outperforms existing task-specific baselines and pathology-specific foundation models, some of which use orders-of-magnitude larger datasets and model sizes when compared to PLUTO. Our findings present a path towards a universal embedding to power pathology image analysis, and motivate further exploration around pathology foundation models in terms of data diversity, architectural improvements, sample efficiency, and practical deployability in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google