WsiCaption: Multiple Instance Generation of Pathology Reports for Gigapixel Whole-Slide Images

要約

スライド全体の画像は、癌の診断と治療のためのデジタルパソロジーの基礎です。
経験の浅い病理学者にとって、病理レポートの作成は骨の折れる作業であり、間違いが発生しやすいものです。
作業負荷を軽減し、臨床自動化を向上させるために、スライド全体の画像を指定して病理レポートを生成する方法を研究します。
データ側では、最大の WSI テキスト データセット (TCGA-PathoText) を厳選しました。
具体的には、TCGA の診断スライドを説明する病理レポートを認識してクリーニングすることにより、視覚言語モデル用の高品質 WSI テキスト ペアを約 10,000 個収集しました。
モデル側では、ギガピクセル WSI の病理レポートを生成できるマルチ インスタンス生成モデル (MI-Gen) を提案します。
TCGA-PathoText の最大のサブセットでモデルのベンチマークを行います。
実験結果は、私たちのモデルが複数の臨床的手がかりを含む病理学レポートを生成できることを示しています。
さらに、WSI テキスト予測は視覚言語の事前トレーニングのアプローチとみなすことができ、これによりモデルを癌の等級分けや表現型検査などの下流の診断タスクに転送できるようになります。
病理レポートからの単純なセマンティック抽出により、追加のパラメータの追加や難しい微調整を行わずに、BRCA サブタイピングで最高のパフォーマンス (F1 スコアの 0.838) を達成できることがわかりました。
収集されたデータセットと関連コードが利用可能です。

要約(オリジナル)

Whole slide images are the foundation of digital pathology for the diagnosis and treatment of carcinomas. Writing pathology reports is laborious and error-prone for inexperienced pathologists. To reduce the workload and improve clinical automation, we investigate how to generate pathology reports given whole slide images. On the data end, we curated the largest WSI-text dataset (TCGA-PathoText). In specific, we collected nearly 10000 high-quality WSI-text pairs for visual-language models by recognizing and cleaning pathology reports which narrate diagnostic slides in TCGA. On the model end, we propose the multiple instance generative model (MI-Gen) which can produce pathology reports for gigapixel WSIs. We benchmark our model on the largest subset of TCGA-PathoText. Experimental results show our model can generate pathology reports which contain multiple clinical clues. Furthermore, WSI-text prediction can be seen as an approach of visual-language pre-training, which enables our model to be transferred to downstream diagnostic tasks like carcinoma grading and phenotyping. We observe that simple semantic extraction from the pathology reports can achieve the best performance (0.838 of F1 score) on BRCA subtyping without adding extra parameters or tricky fine-tuning. Our collected dataset and related code are available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google